[論文レビュー] Exploiting Playbacks in Unsupervised Domain Adaptation for 3D Object Detection

Yurong You, Carlos Andres Diaz-Ruiz+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Neural Network Applications参考文献 62被引用数 5

ひとこと要約

本稿では、記録済みのドライブシーケンスのオフライン再生を活用して高品質な疑似ラベルを生成することで、自己車両の3次元物体検出における新規の教師なしドメイン適応手法を提案する。時間的相関関係および物体の運動特性を活用して検出結果を滑らかにし、補間・外挿することで、特に遮蔽や遠距離による検出漏れを回復させることで、5つの自動運転データセット間でドメインギャップを顕著に低減し、ベースラインモデルを上回る検出精度と信頼性を実現する。

ABSTRACT

Self-driving cars must detect other vehicles and pedestrians in 3D to plan safe routes and avoid collisions. State-of-the-art 3D object detectors, based on deep learning, have shown promising accuracy but are prone to over-fit to domain idiosyncrasies, making them fail in new environments -- a serious problem if autonomous vehicles are meant to operate freely. In this paper, we propose a novel learning approach that drastically reduces this gap by fine-tuning the detector on pseudo-labels in the target domain, which our method generates while the vehicle is parked, based on replays of previously recorded driving sequences. In these replays, objects are tracked over time, and detections are interpolated and extrapolated -- crucially, leveraging future information to catch hard cases. We show, on five autonomous driving datasets, that fine-tuning the object detector on these pseudo-labels substantially reduces the domain gap to new driving environments, yielding drastic improvements in accuracy and detection reliability.

研究の動機と目的

• 都市部のドイツで訓練された検出器が、未確認の環境（例：農村部のアメリカ）では機能しないため、3次元物体検出におけるドメインシフトという重要な課題に取り組むこと。
• 人間によるアノテーションデータを一切用いずに、事前に記録されたセンサデータを活用して自動車が新しい走行環境に適応できることを実現すること。
• 再再生された走行シーケンスのオフライン解析を通じて高品質な疑似ラベルを生成することで、ターゲットドメインにおける検出の信頼性と精度を向上させること。
• リアルタイム検出の限界、特に遮蔽や遠距離物体による検出漏れを、再生時の将来情報を利用することで克服すること。

提案手法

• 本手法は、記録済みLiDARシーケンスのオフライン再生を用いて、ターゲットドメインの検出結果を再処理し、疑似ラベルを生成する。
• ソースドメインにおける信頼性の高い検出を特定し、物体の運動特性（位置、速度、サイズ）をモデル化することで、時間的に滑らかで洗練されたトラックを生成する。
• 時間的補間と外挿を適用して、特に遠距離や遮蔽された車両の検出漏れを回復させる。前方および後方トラッキングを活用する。
• 滑らかさ（S）、リサイズ（R）、補間（I）、外挿（E）を組み合わせて、強固な疑似ラベルを生成する。特にEは遠距離回復において重要である。
• 自己学習を用いて、生成された疑似ラベル付きデータで検出器をファインチューニングすることで、ターゲットドメインへの一般化性能を向上させる。
• 全パイプラインは「ドリームイング」と呼ばれるオフライン処理であり、夜間駐車時などの空き時間にデバイス上で実行可能である。

実験結果

リサーチクエスチョン

• RQ1 記録済み走行シーケンスのオフライン再生によって、検出漏れの回復が可能となり、3次元物体検出における教師なしドメイン適応の性能が向上するか？
• RQ2 時間的モデリングと物体の運動特性は、遠距離や遮蔽状態といった困難な状況下で、疑似ラベルの品質をどの程度向上させ得るか？
• RQ3 再生によって生成された疑似ラベルでファインチューニングすることで、標準的な自己学習や適応なしの手法を上回る性能が得られるか？
• RQ4 提案手法はドメインギャップを十分に埋め、一部の範囲ではインドメイン性能を上回る結果を達成できるか？

主な発見

• ArgoverseからKITTIへの移行において、50-80m範囲の車両でIoU=0.5のAP3Dが31.0%に達し、ST手法比で13.0%、NR手法比で12.0%の向上を示した。
• PIXORのArgoverseからKITTIへの移行において、30-80m範囲でIoU=0.5のAPBEVが22.2%に達し、インドメイン性能の21.4%を上回った。これはUDAが単一ドメイン性能を上回ることを示している。
• アブレーションスタディの結果、外挿（E）が遠距離検出性能向上に最も寄与しており、補間（I）を用いた場合の50-80m AP3D 23.9%から、外挿（E）を追加した場合の25.7%に向上した。
• 本手法は、KITTI、Argoverse、Lyft、Waymo、nuScenesの5つの評価データセットすべてで一貫して検出精度を向上させ、優れた一般化性能を示した。
• 特に遮蔽や遠距離検出といった困難なケースにおいて、ドメインギャップを顕著に低減し、ベースラインモデルが失敗する状況でも性能を維持した。
• 再生によって生成された疑似ラベルでファインチューニングした結果、自身の将来予測能力（ST）を上回る精度を達成した。これは、オフラインで高品質なラベルを生成することの価値を裏付けている。