[論文レビュー] In Rain or Shine: Understanding and Overcoming Dataset Bias for Improving Robustness Against Weather Corruptions for Autonomous Vehicles

Aboli Marathe, Rahee Walambe+1 more|arXiv (Cornell University)|Apr 3, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

この論文は、COCO や VOC などの標準データセットで訓練された物体検出（OD）モデルに見られる「好天バイアス」を特定し、緩和する。これらのモデルは悪天候データでは性能を発揮しない。本研究では、実際の DAWN データセットの画像を用いた知識移譲と、トレーニング画像に合成された二重ガウスノイズを施す手法を提案。DAWN で 26.25 mAP を達成し、ベースライン比で 7 倍の向上を示し、実世界の悪天候下でのモデルの頑健性を顕著に向上させた。

ABSTRACT

Several popular computer vision (CV) datasets, specifically employed for Object Detection (OD) in autonomous driving tasks exhibit biases due to a range of factors including weather and lighting conditions. These biases may impair a model's generalizability, rendering it ineffective for OD in novel and unseen datasets. Especially, in autonomous driving, it may prove extremely high risk and unsafe for the vehicle and its surroundings. This work focuses on understanding these datasets better by identifying such "good-weather" bias. Methods to mitigate such bias which allows the OD models to perform better and improve the robustness are also demonstrated. A simple yet effective OD framework for studying bias mitigation is proposed. Using this framework, the performance on popular datasets is analyzed and a significant difference in model performance is observed. Additionally, a knowledge transfer technique and a synthetic image corruption technique are proposed to mitigate the identified bias. Finally, using the DAWN dataset, the findings are validated on the OD task, demonstrating the effectiveness of our techniques in mitigating real-world "good-weather" bias. The experiments show that the proposed techniques outperform baseline methods by averaged fourfold improvement.

研究の動機と目的

• 自動運転車に用いられる代表的な物体検出データセットにおける「好天バイアス」を特定し、定量的に評価すること。
• DAWN データセットを用いて、標準的な評価指標を用いてこのバイアスの度合いを測定すること。
• 悪天候条件下でのモデルの頑健性を向上させるための有効な手法を開発・検証すること。

提案手法

• バイアスを特定するための三段階フレームワークを提案：標準データセットで学習し、好天データでテストし、DAWN の悪天候データで性能を評価する。
• VOC 2017 で事前学習したモデルを、DAWN データセットの実際の画像を用いて微調整することで、知識移譲を実施する。
• 二重ガウスノイズによる合成画像汚染を用い、VOC 2017 のトレーニングセットを拡張し、悪天候の影響を模擬する。
• 汚染を施した VOC 2017 データで物体検出モデルを学習し、DAWN テストセットで性能を評価する。
• 標準的な物体検出指標（mAP、クラス別AP）を用いて、ベースラインと緩和手法の性能を比較する。
• DAWN データセット（自動運転画像における悪天候下の実世界ベンチマーク）を用いて、研究結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な物体検出モデルは、DAWN データセットの悪天候画像でどれほど性能が低下するか？
• RQ2 標準的な評価指標を用いて、「好天バイアス」をどのように定量的に測定できるか？
• RQ3 ターゲットの悪天候データセットからの実画像を用いた知識移譲は、モデルの頑健性を向上させられるか？
• RQ4 合成画像汚染技術は、実世界の悪天候汚染を効果的に模擬でき、一般化性能を向上させられるか？
• RQ5 知識移譲と合成汚染のどちらの緩和戦略が、分布外の悪天候条件下で優れた性能を示すか？

主な発見

• COCO や VOC 2017 で訓練されたモデルは、DAWN データセットで顕著な性能低下を示し、VOC では mAP が 74.95 から 7.00 に、COCO では 28.37 から 9.50 に低下した。
• 知識移譲手法により、DAWN での mAP は 7.00 から 5.50 に改善され、バスクラスでは 7 AP の上昇を示し、わずかではあるが測定可能な向上が確認された。
• 合成された二重ガウスノイズによる汚染手法により、mAP は 7.00 から 26.25 に 22.5 の向上を達成し、自転車検出の AP は 92 に上昇した。
• 二重ガウスノイズ手法は知識移譲を 7 倍の mAP の向上で上回り、悪天候汚染に対する頑健性が顕著に優れていた。
• 自転車クラスは悪天候下で特に検出が困難であったが、合成汚染手法により顕著な性能向上が達成された。
• 本研究は、「好天バイアス」が自動運転車の認識性能において深刻な問題であることを確認し、合成データ拡張が極めて有効な緩和戦略であることを示した。