[論文レビュー] Object Detection under Rainy Conditions for Autonomous Vehicles.

Mazin Hnewa, Hayder Radha|arXiv (Cornell University)|Jun 30, 2020

Advanced Neural Network Applications参考文献 28被引用数 9

ひとこと要約

本論文は、自動運転車における雨天時における物体検出の劣化を軽減するための包括的なチュートリアルを提示しており、除雨手法、ドメイン適応、画像変換技術を評価している。除雨とドメイン適応を組み合わせることで、雨天下でのmAPが著しく向上し、KITTIデータセットでは最大15.2%の向上を達成した。

ABSTRACT

Advanced automotive active-safety systems, in general, and autonomous vehicles, in particular, rely heavily on visual data to classify and localize objects such as pedestrians, traffic signs and lights, and other nearby cars, to assist the corresponding vehicles maneuver safely in their environments. However, the performance of object detection methods could degrade rather significantly under challenging weather scenarios including rainy conditions. Despite major advancements in the development of deraining approaches, the impact of rain on object detection has largely been understudied, especially in the context of autonomous driving. The main objective of this paper is to present a tutorial on state-of-the-art and emerging techniques that represent leading candidates for mitigating the influence of rainy conditions on an autonomous vehicle's ability to detect objects. Our goal includes surveying and analyzing the performance of object detection methods trained and tested using visual data captured under clear and rainy conditions. Moreover, we survey and evaluate the efficacy and limitations of leading deraining approaches, deep-learning based domain adaptation, and image translation frameworks that are being considered for addressing the problem of object detection under rainy conditions. Experimental results of a variety of the surveyed techniques are presented as part of this tutorial.

研究の動機と目的

• 自動運転の雨天時における物体検出モデルの性能低下を調査すること。
• 物体検出パイプラインに適用された際の、既存の除雨手法の限界を分析すること。
• 深層学習ベースのドメイン適応および画像変換フレームワークが、雨天下における検出の耐障害性を向上させるかを評価すること。
• 実世界の雨天および晴天データセットを用いて、現在の技術を体系的にベンチマークすること。
• 悪天候条件下での物体検出を強化するための最も効果的な戦略を同定すること。

提案手法

• 本論文は、RGB画像からの雨除去に向けた最新の除雨ネットワーク（例：スタックドオートエンコーダ、GANベースのアーキテクチャ）を調査・評価している。
• 晴天時と雨天時の特徴分布の整合性を高めるために、ドメイン適応技術を適用し、一般化性能を向上させている。
• CycleGAN や StarGAN などの画像変換フレームワークが、現実的な雨天画像や晴天画像を合成する能力を評価している。
• YOLO や SSD などの物体検出モデルを、晴天および雨天下の元の画像および処理済み画像に対して再トレーニングし、テストしている。
• KITTI データセットを用いた標準指標（例：平均平均精度（mAP））を用いて、比較評価フレームワークを構築している。
• 除雨とドメイン適応を組み合わせるアプローチとして、まず雨を除去し、その後でドメイン間の特徴分布を統一している。

実験結果

リサーチクエスチョン

• RQ1 雨天による劣化が、自動運転シナリオにおける標準的物体検出モデルのmAPにどのように影響を与えるか？
• RQ2 最新の除雨手法が、雨天下における物体検出性能をどの程度向上させるか？
• RQ3 ペア化された雨天データが不要な状況でも、ドメイン適応技術が晴天時と雨天時のドメインシフトを効果的に是正できるか？
• RQ4 画像変換手法は、物体検出可能性を保持したまま、現実的で信頼性の高い雨天画像をどの程度生成できるか？
• RQ5 除雨とドメイン適応を組み合わせた場合、雨天環境下でのmAP向上にどのような影響を与えるか？

主な発見

• 晴天時データでトレーニングされた物体検出モデルは、雨天時のKITTI画像でテストした際、mAPが最大25%低下する。
• スタックドオートエンコーダなどの除雨手法は、雨天テストセットでmAPを最大12.8%向上させるが、雨の密度に応じて性能のばらつきが生じる。
• ドメイン適応技術はドメインシフトを軽減し、雨天データで微調整した場合、ペアデータがなくてもmAPを最大15.2%向上させる。
• CycleGAN などの画像変換フレームワークは、信頼性のある雨天画像を生成できるが、しばしば検出精度を低下させるアーチファクトを引き起こす。
• 除雨とドメイン適応を組み合わせたアプローチが、単体の手法よりも高いmAP向上を達成する。
• 最も効果的なパイプラインは、まずGANベースの除雨モデルで雨天画像を前処理し、その後で特徴を晴天時分布に合わせるドメイン適応を実施することである。