[論文レビュー] Seeing Through Fog Without Seeing Fog: Deep Sensor Fusion in the Absence of Labeled Training Data.

Mario Bijelic, Fahim Mannan+4 more|arXiv (Cornell University)|Feb 24, 2019

Advanced Neural Network Applications参考文献 49被引用数 26

ひとこと要約

本論文は、標高のない訓練データを必要とせず、濃霧における頑健な物体検出を可能にする、1ショットでエントロピー駆動の深層融合ネットワークを提案する。カメラ、LiDAR、レーダー、ゲート付きNIRの特徴を、自己適応的に統合する。清浄なデータで訓練されたこの手法は、新しい大規模マルチモーダル濃霧データセットで優れた性能を示し、実際の自動運転シナリオで一般的な非対称センサー歪みに対して有効であることを示している。

ABSTRACT

The fusion of multimodal sensor streams, such as camera, lidar, and radar measurements, plays a critical role in object detection for autonomous vehicles, which base their decision making on these inputs. While existing methods exploit redundant information in good environmental conditions, they fail in adverse weather where the sensory streams can be asymmetrically distorted. These rare edge-case scenarios are not represented in available datasets, and existing fusion architectures are not designed to handle them. To address this challenge we present a novel multimodal dataset acquired in over 10,000km of driving in northern Europe. Although this dataset is the first large multimodal dataset in adverse weather, with 100k labels for lidar, camera, radar, and gated NIR sensors, it does not facilitate training as extreme weather is rare. To this end, we present a deep fusion network for robust fusion without a large corpus of labeled training data covering all asymmetric distortions. Departing from proposal-level fusion, we propose a single-shot model that adaptively fuses features, driven by measurement entropy. We validate the proposed method, trained on clean data, on our extensive validation dataset. Code and data are available here this https URL.

研究の動機と目的

• 濃霧を含む悪天候下における非対称センサー歪みのためのラベル付き訓練データの不足に取り組む。
• 既存のデータセットにカバーされていない、まれな実世界のエッジケースに一般化可能な頑健なマルチモーダル統合フレームワークを開発する。
• 広範なアノテート済み濃霧データに依存せずに、カメラ、LiDAR、レーダー、ゲート付きNIRセンサーの有効な統合を可能にする。
• 複数のセンサーにわたる10万ラベルを含む、大規模で実世界のマルチモーダルデータセットを構築する。
• 清浄なデータで訓練された1ショット統合モデルが、挑戦的な実世界の濃霧ベンチマークで良好な性能を示すことを検証する。

提案手法

• カメラ、LiDAR、レーダー、ゲート付きNIRセンサーの特徴を統合する、統一的かつエンドツーエンドのアーキテクチャを持つ1ショット統合ネットワークを提案する。
• 測定エントロピーを動的重み付けメカニズムとして用い、悪天候下での各センサーモダリティの信頼性に応じて重要度を自己適応的に割り当てる。
• 各センサー入力の不確実性（エントロピー）に基づいて重みを調整する学習可能な統合モジュールを採用し、濃霧下でより信頼性の高いモダリティを優先する。
• コストが高く、まれな濃霧アノテーション例を必要としない、清浄な非濃霧データのみでネットワーク全体を訓練する。
• 北ヨーロッパで1万km以上走行して収集した、悪天候下で複数センサーにわたる10万ラベルを含む、画期的な大規模データセットを活用する。
• 非対称的センサー劣化への一般化を評価するために、包括的で実世界の濃霧データセット上で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 清浄なデータのみで訓練された深層統合モデルは、非対称的センサー劣化を示す濃霧シナリオに効果的に一般化できるか？
• RQ2 測定エントロピーに基づく自己適応的統合は、悪天候下のマルチモーダル認識における頑健性をどのように向上させるか？
• RQ3 1ショット統合アーキテクチャは、濃霧環境において従来のプロポーザルレベル統合をどの程度上回るか？
• RQ4 限られた濃霧アノテーション例しか含まれない大規模で実世界のデータセット上で、提案手法はどの程度有効か？
• RQ5 統一された統合フレームワークは、非対称的濃霧歪み下でも複数のセンサー（カメラ、LiDAR、レーダー、ゲート付きNIR）の性能を維持できるか？

主な発見

• 提案されたエントロピー駆動の統合モデルは、清浄なデータでのみ学習されたにもかかわらず、実世界の濃霧データセットで優れた性能を示し、まれな悪天候状況への一般化を実証した。
• 特にセンサー入力が非対称的に劣化している状況下でも、ベースライン統合手法を上回る物体検出精度を達成した。
• 測定エントロピーに基づく自己適応的統合は、信頼性の高いセンサーモダリティを効果的に優先し、視界が悪い状況での頑健性を向上させた。
• カメラなどの一部のセンサーが濃霧で著しく遮断されても、LiDAR やレーダーなどの補完的モダリティに依存することで、高い検出性能を維持できた。
• 悪天候下で10万ラベルを含む大規模マルチモーダルデータセットは、極端な条件下での頑健な自動運転研究のための貴重なベンチマークを提供する。
• 1ショットアーキテクチャにより、効率的な推論が可能となり、段階的な統合パイプラインの複雑さと誤差伝搬を回避した。