[論文レビュー] Domain Adaptive Object Detection for Autonomous Driving under Foggy Weather

Jinlong Li, Runsheng Xu+4 more|arXiv (Cornell University)|Oct 27, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、画像レベルおよびオブジェクトレベルのドメイン適応を組み合わせ、画像のノイズ除去とオブジェクトの特徴抽出を向上させるために、硬い例のマイニングに特化した新規の敵対的勾配反転層（AdvGRL）と、データ拡張によって生成された補助ドメインを用いたドメインレベルのメトリクス正則化を導入することで、濃霧下の自動運転におけるドメイン適応型オブジェクト検出フレームワークを提案する。この手法は、CityscapesからFoggy Cityscapesへの移行において、ドメイン適応を施さないベースラインモデルを著しく上回る最先端のmAP 42.34を達成した。

ABSTRACT

Most object detection methods for autonomous driving usually assume a consistent feature distribution between training and testing data, which is not always the case when weathers differ significantly. The object detection model trained under clear weather might not be effective enough in foggy weather because of the domain gap. This paper proposes a novel domain adaptive object detection framework for autonomous driving under foggy weather. Our method leverages both image-level and object-level adaptation to diminish the domain discrepancy in image style and object appearance. To further enhance the model's capabilities under challenging samples, we also come up with a new adversarial gradient reversal layer to perform adversarial mining for the hard examples together with domain adaptation. Moreover, we propose to generate an auxiliary domain by data augmentation to enforce a new domain-level metric regularization. Experimental results on public benchmarks show the effectiveness and accuracy of the proposed method. The code is available at https://github.com/jinlong17/DA-Detect.

研究の動機と目的

• 自動運転のクリア天候と濃霧天候のシナリオ間におけるドメインシフトを解消すること。
• 画像スタイルとオブジェクトの外観におけるドメイン差を低減することで、悪天候下におけるモデルの汎化性能を向上させること。
• 転移学習中に勾配反転を用いた敵対的マイニングにより、硬い例の学習を強化すること。
• データ拡張によって生成された補助ドメインを用いた新しいドメインレベルメトリクス正則化を導入すること。
• アノテーション付き濃霧データを一切必要としない統合的フレームワークを構築し、濃霧条件下での耐性を向上させること。

提案手法

• クリア天候と濃霧天候のドメイン間でドメイン不変特徴を学習するために、画像レベルおよびオブジェクトレベルのドメイン分類器を活用する。
• 特徴のL1距離から算出される例の難易度に基づき、勾配反転を動的に制御することで、硬い例を的確に特定・強調する敵対的勾配反転層（AdvGRL）を導入する。
• データ拡張（例：雨の合成）によって生成された補助ドメインを用いて、ソースドメイン、補助ドメイン、ターゲットドメイン間の特徴距離を制約する、新規のドメインレベルメトリクス正則化を採用する。
• 検出損失、ドメイン分類損失、メトリクス正則化損失を統合したマルチタスク損失関数を用い、検出とドメイン適応を同時に最適化する。
• 例の難易度に基づき、特徴のL1距離から計算される可学習閾値βとαを用いて、AdvGRLの勾配反転を制御する。
• ラベル付きクリア天候画像とラベルなし濃霧天候画像のみを用いて、教師なしでモデルを訓練する。

Figure 1: Illustration of the domain adaptive object detection for autonomous driving: (a) Faster R-CNN [ 37 ] detection under clear weather, (b) Faster R-CNN detection under foggy weather without domain adaptation, (c) Faster R-CNN detection under foggy weather with the proposed domain adaptation.

実験結果

リサーチクエスチョン

• RQ1 画像レベルとオブジェクトレベルのドメイン適応を併用することで、濃霧天候下のオブジェクト検出におけるドメインシフトを効果的に低減できるか？
• RQ2 勾配反転機構を用いた敵対的マイニングにより、視界が悪い条件下でのモデルの耐性が向上するか？
• RQ3 データ拡張によって生成された補助ドメインを導入することで、ドメインレベルメトリクス正則化が強化され、転移性能が向上するか？
• RQ4 本手法は、実世界の濃霧ベンチマークにおいて、ベースラインのドメイン適応手法およびソースオンリーモデルと比較してどのように性能を発揮するか？
• RQ5 損失重みや閾値などのハイパーパrameterが、最終的な検出精度にどの程度の影響を及ぼすか？

主な発見

• 提案手法は、CityscapesからFoggy Cityscapesへの移行ベンチマークでmAP 42.34を達成し、画像・オブジェクトレベルの適応のみを施したベースラインFaster R-CNN（41.30 mAP）を著しく上回った。
• アブレーションスタディの結果、AdvGRLおよびドメインレベルメトリクス正則化の両方が肯定的な寄与を示しており、完全なモデル（img+obj+AdvGRL+Reg）が最高のmAPを達成した。
• CycleGANを用いたドメインランダマイゼーション手法を用いた場合、mAPはわずか32.8にとどまり、濃霧のような複雑なドメインシフトに対しては、標準的なドメインランダマイゼーションでは不十分であることが示された。
• 通常のデータ拡張（色調変更、ぼかし、ノイズ追加）により補助ドメインを生成した場合、mAPは38.7にとどまり、本手法の雨の合成に基づく補助ドメインを用いた場合の42.34 mAPより低い結果となった。
• 事前学習を用いないモデルでもmAP 42.34を達成し、事前学習済みFaster R-CNNが得た41.30 mAPをわずかに上回ったことから、本手法が初期化に強く依存しないことが示された。
• 定性的な結果から、濃霧下におけるオブジェクト検出の性能が著しく向上しており、ベースラインモデルと比較して誤検出や漏れ検出が減少し、境界ボックスの正確性が向上している。

Figure 2: The architecture of proposed domain adaptive object detection for autonomous driving under foggy weather. Based on the traditional Faster R-CNN architecture [ 37 ] , the image-level and object-level domain adaptations with adversarial gradient reversal layer (AdvGRL) and domain-level metri