[論文レビュー] MUAD: Multiple Uncertainties for Autonomous Driving

Gianni Franchi, Xuanlong Yu+6 more|arXiv (Cornell University)|Mar 2, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

MUADは、夜間、霧、雨、雪といった多様な悪天候状態、分布外（OOD）オブジェクト、および画像セグメンテーション、深度推定、オブジェクト検出のアノテーションを備えた、10,413枚の高精細な合成画像からなるデータセットを提供する。このベンチマークにより、制御された現実的な摂動下での深層ニューラルネットワークの系統的評価が可能となり、複数の不確実性要因が重複して存在する状況ではモデル性能が著しく低下することが明らかになった。これは、安全が求められるシステムにおいて不確実性に配慮した設計が不可欠であることを示唆している。

ABSTRACT

Predictive uncertainty estimation is essential for safe deployment of Deep Neural Networks in real-world autonomous systems. However, disentangling the different types and sources of uncertainty is non trivial for most datasets, especially since there is no ground truth for uncertainty. In addition, while adverse weather conditions of varying intensities can disrupt neural network predictions, they are usually under-represented in both training and test sets in public datasets.We attempt to mitigate these setbacks and introduce the MUAD dataset (Multiple Uncertainties for Autonomous Driving), consisting of 10,413 realistic synthetic images with diverse adverse weather conditions (night, fog, rain, snow), out-of-distribution objects, and annotations for semantic segmentation, depth estimation, object, and instance detection. MUAD allows to better assess the impact of different sources of uncertainty on model performance. We conduct a thorough experimental study of this impact on several baseline Deep Neural Networks across multiple tasks, and release our dataset to allow researchers to benchmark their algorithm methodically in adverse conditions. More visualizations and the download link for MUAD are available at https://muad-dataset.github.io/.

研究の動機と目的

• 自動運転の認識において、確率的不確実性（aleatoric）、認識的不確実性（epistemic）、分布シフト（distribution shift）といった複数の不確実性要因を分離・解明するデータセットの不足に対処すること。
• 天候やOODオブジェクトといった制御された摂動を備えた、現実的で高品質な合成データセットを提供し、DNNにおける不確実性評価を可能にすること。
• さまざまな不確実性状態下で、複数の認識タスク（画像セグメンテーション、深度推定、オブジェクト検出）における深層学習モデルの系統的ベンチマーク評価を可能にすること。
• ベースラインと包括的な評価プロトコルを提供することで、不確実性に配慮した認識分野の研究を支援すること。
• MUADの多様で現実的なデータ分布を活用し、合成データから実世界へのドメイン適応を促進すること。

提案手法

• MUADデータセットは、高精細なシミュレーションにより生成された10,413枚の合成画像から構成され、夜間、霧、雨、雪の状態に加え、多様な分布外（OOD）オブジェクトが含まれる。
• 3つの主要タスク（画像セグメンテーション、単眼深度推定、インスタンス／オブジェクト検出）のアノテーションが提供されている。
• データセットは、3,420枚の学習用、492枚の検証用、6,501枚のテスト用に分割されており、摂動の度合い（例：低・高レベルの悪天候、OODオブジェクトの有無）が段階的に増加している。
• Faster R-CNN（ResNet-50およびResNet-101バックボーン）およびガウス分布を用いたYOLOv3（Gaussian YOLOv3）のベースラインモデルが、全摂動レベルで学習・評価されている。
• 性能評価には標準指標（mAP、AP50）に加え、不確実性に配慮した局所化性能を評価する確率的検出品質（PDQ）指標が用いられている。
• MUADからKITTIへのドメイン適応実験を実施し、不確実性に配慮したモデルの実世界データへの適合性を示している。

実験結果

リサーチクエスチョン

• RQ1 悪天候、OODオブジェクト、分布シフトといった異なる種類の不確実性が、複数の認識タスクにおけるDNN性能にどのように影響を与えるか？
• RQ2 不確実性に配慮したモデルは、合成的ではあるが現実的な環境における摂動度の増加に伴い、どの程度耐性を保つことができるか？
• RQ3 MUADのような合成データセットは、実世界への導入前に不確実性評価手法の開発と評価を効果的に行うのに適しているか？
• RQ4 悪天候下における不確実性一般化性能において、異なるバックボーンアーキテクチャ（例：ResNet-50対ResNet-101）や検出ヘッド（Faster R-CNN対YOLOv3）の性能はどのように比較されるか？
• RQ5 MUADで学習したモデルは、ドメイン適応を経て、KITTIのような実世界ベンチマークにどの程度一般化できるか？

主な発見

• Faster R-CNN（ResNet-101バックボーン）は通常条件で39.91%のmAPを達成したが、OODオブジェクトなしの高レベルの悪天候条件下では24.73%に低下し、悪天候による性能劣化が顕著に確認された。
• OODオブジェクトの存在が追加されると、高レベルの悪天候条件下でmAPはさらに12.41%に低下し、分布シフトが単なる天候要因を超えて性能劣化を悪化させることを示した。
• ガウス分布を用いたYOLOv3モデルは通常条件で20.81%のmAPという低いベースライン性能を示したが、摂動下でもより一貫したPDQスコアを維持しており、摂動下での不確実性のキャリブレーションが優れていることが示唆された。
• 性能低下が最も顕著に現れたのは、OODオブジェクトを含む高レベルの悪天候条件下で、全モデルでmAPが13%未満に低下した。これはOOD一般化の挑戦性を強く示している。
• 本研究では、ある種の不確実性（例：悪天候）に対して耐性を持つモデルでも、他の種類の不確実性（例：OOD）に対しては失敗する可能性があることが確認され、複数の不確実性源を同時に評価する必要性が強調された。
• MUADからKITTIへの初期ドメイン適応実験では、有望な結果が得られ、合成データが実世界への導入パイプラインを効果的に支援できる可能性を示した。