[論文レビュー] Train in Germany, Test in The USA: Making 3D Object Detectors Generalize

Yan Wang, Xiangyu Chen+6 more|arXiv (Cornell University)|May 17, 2020

Advanced Neural Network Applications参考文献 63被引用数 13

ひとこと要約

この論文は、ドイツのKITTIで訓練された3Dオブジェクト検出器をアメリカのWaymoに展開する際の性能低下の主な原因として、車両サイズの分布の違いを特定した。外部データソース（例：自動車販売統計）からの平均車両寸法を用いた単純な統計正規化手法を提案し、バウンディングボックス予測を補正することで、複数のデータセット間で3D検出タスクの平均精度を41.4ポイント向上させた。

ABSTRACT

In the domain of autonomous driving, deep learning has substantially improved the 3D object detection accuracy for LiDAR and stereo camera data alike. While deep networks are great at generalization, they are also notorious to over-fit to all kinds of spurious artifacts, such as brightness, car sizes and models, that may appear consistently throughout the data. In fact, most datasets for autonomous driving are collected within a narrow subset of cities within one country, typically under similar weather conditions. In this paper we consider the task of adapting 3D object detectors from one dataset to another. We observe that naively, this appears to be a very challenging task, resulting in drastic drops in accuracy levels. We provide extensive experiments to investigate the true adaptation challenges and arrive at a surprising conclusion: the primary adaptation hurdle to overcome are differences in car sizes across geographic areas. A simple correction based on the average car size yields a strong correction of the adaptation gap. Our proposed method is simple and easily incorporated into most 3D object detection frameworks. It provides a first baseline for 3D object detection adaptation across countries, and gives hope that the underlying problem may be more within grasp than one may have hoped to believe. Our code is available at https://github.com/cxy1997/3D_adapt_auto_driving.

研究の動機と目的

• 1つの自動運転データセットで訓練された3Dオブジェクト検出器を別のデータセットに展開した際の性能低下の根本原因を調査すること。
• センサーの違い、天候、車両サイズなどのドメインシフト要因の中で、検出器の一般化性能に最も顕著に影響を与える要因を特定すること。
• 再訓練を伴わず、ドメインシフトを軽減する実用的で軽量な手法を開発すること。
• 車両サイズ統計がクロスデータセット性能低下の主因であることを検証すること。

提案手法

• 1つのデータセットで3Dオブジェクト検出器（PIXORおよびPointRCNN）を訓練し、複数の他のデータセットで評価することでドメインシフトを測定する。
• データセット間での車両サイズ、形状、センサー構成の違いを分析し、性能低下の主な要因を特定する。
• 外部データ（例：自動車販売統計）からの平均車両寸法を用いて、予測された3Dバウンディングボックスを再スケーリングする統計正規化技術を提案する。
• 入力LiDAR特徴量および出力検出予測の両方に正規化を適用し、検出器出力をターゲットドメインの統計と一致させる。
• 国営車両登録データや販売レポートから得られる集計車両寸法データ（高さ、幅、長さ）を用いて正規化をキャリブレーションする。
• 5つの主要データセット（KITTI、Argoverse、nuScenes、Lyft、Waymo）を対象とし、複数の距離および難易度の閾値で評価する。

Figure 1: Datasets. We show frontal view images (left) and the corresponding LiDAR signals (right) from the bird’s-eye view for five datasets: KITTI [ 18 , 19 ] , Argoverse [ 7 ] , nuScenes [ 4 ] , Lyft [ 25 ] , and Waymo [ 3 ] . These datasets not only capture scenes at different geo-locations, but

実験結果

リサーチクエスチョン

• RQ1 1つの地理的地域から別の地域に3Dオブジェクト検出器を移行する際、性能が低下する主なドメインシフト要因は何か？
• RQ2 センサ構成や天候と比較して、データセット間での車両サイズ・形状の違いが検出器性能に与える影響は、どの程度顕著か？
• RQ3 平均車両寸法に基づくシンプルでデータ駆動型の正規化手法が、クロスデータセット3D検出性能を顕著に向上させられるか？
• RQ4 センサ構成や環境条件が異なる多様なデータセットにおいて、サイズ正規化による性能向上は一貫して有効か？

主な発見

• クロスデータセット3Dオブジェクト検出における性能低下の主な原因は、トレーニングドメインとテストドメイン間での車両サイズの統計的差異である。
• KITTI（ドイツ、平均長さ約4.4m）で訓練した検出器は、Waymo（米国、平均長さ約5.15m）で適用した際、適応処理がなければ36％も性能が低下する。
• 外部データソースからの平均車両寸法を用いた統計正規化を適用することで、複数データセットの3Dエイジルセットにおいて平均精度が41.4ポイント向上する。
• データセット固有の統計ではなく、自動車販売データを用いても同様の効果が得られることから、本手法のロバスト性と実用性が示された。
• 定性的な結果から、誤検出率が低下し、バウンディングボックスのサイズ推定が改善されていることが確認された（KITTIでの可視化結果を参照）。
• 性能向上は特に長距離検出（50m～70m）で顕著であり、ここではサイズの不一致が最も深刻な影響を及ぼす。

Figure 2: The average numbers of 3D points per car (left) and per scene (right). We only include points within the frontal-view camera view and cars whose depths are within $70$ meters.