[論文レビュー] CARLANE Benchmark

Julian Gebele, Bonifaz Stuhr+1 more|arXiv (Cornell University)|Jun 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 2

ひとこと要約

CARLANEは、2次元車線検出における3方向のシミュレーションから実世界への自己教師ありドメイン適応ベンチマークを導入し、MoLane、TuLane、MuLaneの3つのデータセットを含む。これらはシミュレーションと2つの実世界ドメインをカバーする。単一および複数ターゲットドメイン適応を可能にし、SGPCSを用いた最先端のベースラインを確立した。また、自己教師ありドメイン適応（UDA）手法は完全教師ありモデルと比較して顕著な高い偽陽性および偽陰性率を示しており、この分野におけるより優れたベンチマークの必要性を浮き彫りにしている。

ABSTRACT

Unsupervised Domain Adaptation demonstrates great potential to mitigate domain shifts by transferring models from labeled source domains to unlabeled target domains. While Unsupervised Domain Adaptation has been applied to a wide variety of complex vision tasks, only few works focus on lane detection for autonomous driving. This can be attributed to the lack of publicly available datasets. To facilitate research in these directions, we propose CARLANE, a 3-way sim-to-real domain adaptation benchmark for 2D lane detection. CARLANE encompasses the single-target datasets MoLane and TuLane and the multi-target dataset MuLane. These datasets are built from three different domains, which cover diverse scenes and contain a total of 163K unique images, 118K of which are annotated. In addition we evaluate and report systematic baselines, including our own method, which builds upon Prototypical Cross-domain Self-supervised Learning. We find that false positive and false negative rates of the evaluated domain adaptation methods are high compared to those of fully supervised baselines. This affirms the need for benchmarks such as CARLANE to further strengthen research in Unsupervised Domain Adaptation for lane detection. CARLANE, all evaluated models and the corresponding implementations are publicly available at https://carlanebenchmark.github.io.

研究の動機と目的

• 自己教師ありドメイン適応（UDA）における車線検出のための公開ベンチマークの不足に対処すること。
• 多様な実世界走行シーンを用いたシミュレーションから実世界へのベンチマークを構築することで、単一および複数ターゲットのUDAを可能にすること。
• 公開可能なデータセット、CARLAベースのウェイポイントエージェント（データ収集用）、および実世界画像のアノテーション用のカスタムラベル付けツールを提供すること。
• UDAにおける車線検出の評価と体系的なベースラインの確立を図り、新規手法であるSGPCSを含むこと。
• UDAと完全教師ありベースラインとの間のパフォーマンスギャップを強調し、より強力なベンチマークの必要性を示すこと。

提案手法

• ソースドメインは、CARLAシミュレータ内で設定可能なウェイポイントベースのエージェントを用いて生成され、MoLaneには80,000枚、TuLaneには24,000枚の画像が収集された。
• ターゲットドメインには実世界のデータセットが含まれる：MoLaneは1/8サイズの車両レコードからの44,000枚のラベルなし画像を、TuLaneはTuSimpleの米国高速道路データセットからの3,268枚の画像を用いた。
• MuLaneはMoLaneとTuLaneのデータを統合し、バランスの取れた合成データと実世界データを備えた複数ターゲットのUDAベンチマークを構築した。
• 一般化性能の向上とドメインシフトの低減を目的に、ドメインランダム化とデータバランス化を適用した。
• カスタムラベル付けツールを用いて、実世界ドメインの2,000枚の検証画像および1,000枚のテスト画像をアノテートした。
• 提案手法のSGPCSは、擬似ラベル付けを組み込んだプロトタイプベースのクロスドメイン自己教師あり学習を拡張し、最先端のパフォーマンスを達成した。

実験結果

リサーチクエスチョン

• RQ1 既存のUDA手法は、シミュレーションから複数の実世界ドメインへの車線検出モデルの転送において、どの程度有効であるか？
• RQ2 自己教師ありドメイン適応と完全教師ありベースラインとの間には、車線検出においてどの程度のパフォーマンスギャップが存在するか？
• RQ3 MoLaneのような複数ターゲットのUDAベンチマークは、車線検出におけるドメイン一般化に関する新たな知見を明らかにできるか？
• RQ4 提案手法のSGPCSは、DANN、ADDA、SGADAといった敵対的UDA手法と比較して、シミュレーションから実世界への車線検出においてどの程度優れているか？
• RQ5 ドメインランダム化とデータバランス化は、実世界の車線検出タスクにおけるUDAパフォーマンスをどの程度向上させるか？

主な発見

• CARLANEにおけるUDA手法は、完全教師ありベースラインを著しく上回る高い偽陽性および偽陰性率を示している。
• 提案されたSGPCS手法は、CARLANEベンチマーク上で最先端のパフォーマンスを達成しており、クロスドメイン自己教師あり学習における擬似ラベル付けの有効性を示している。
• UDAと完全教師ありモデルとの間のパフォーマンスギャップは依然として顕著であり、シミュレーションから実世界への車線検出におけるドメインシフトが依然として主要な課題であることを示している。
• 複数ターゲットベンチマークであるMuLaneは、多様な実世界走行シナリオにおけるドメイン一般化の分析を可能にしている。
• ベンチマークは、ドメインランダム化とデータバランス化を施しても、ドメインシフトが車線検出のパフォーマンスに深刻な影響を及ぼしていることを明らかにした。
• すべてのデータセット、モデル、コードは https://carlanebenchmark.github.io で公開されており、再現性と今後の研究を支援している。