[論文レビュー] Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

Claudio Michaelis, Benjamin Mitzkus+6 more|arXiv (Cornell University)|Jul 17, 2019

Advanced Neural Network Applications被引用数 199

ひとこと要約

論文は Robust Detection Benchmark (PASCAL-C, COCO-C, Cityscapes-C) を導入し、物体検出モデルが多様な画像の破損下でどのように性能を発揮するかを評価し、トレーニングデータのスタイリングが破損に対する頑健性を向上させ、データセット間でも効果を示す。

ABSTRACT

The ability to detect objects regardless of image distortions or weather conditions is crucial for real-world applications of deep learning like autonomous driving. We here provide an easy-to-use benchmark to assess how object detection models perform when image quality degrades. The three resulting benchmark datasets, termed Pascal-C, Coco-C and Cityscapes-C, contain a large variety of image corruptions. We show that a range of standard object detection models suffer a severe performance loss on corrupted images (down to 30--60\\% of the original performance). However, a simple data augmentation trick---stylizing the training images---leads to a substantial increase in robustness across corruption type, severity and dataset. We envision our comprehensive benchmark to track future progress towards building robust object detection models. Benchmark, code and data are publicly available.

研究の動機と目的

• varying weather and image distortions に対応する自動運転向けの頑健な物体検出を動機づける。
• 検出モデルの頑健性を定量化するための、使いやすく標準化されたベンチマークを提供する。
• 合成破損が雨、雪、霧などの実世界の歪みにどのように関連するかを示す。
• スタイライズ済みトレーニングによるデータ拡張が頑健性を大幅に向上させることを示す。

提案手法

• 3つのデータセット（PASCAL-C、COCO-C、Cityscapes-C）を用いた Robust Detection Benchmark を提案し、各データセットには5段階の深刻度で15種類の破損が含まれる。
• ImageNet-C に着想を得た破損タイプと評価指標を採用し、破損下の平均性能 (mPC) と相対劣化 (rPC) を用いる。
• Faster R-CNN、Mask R-CNN、Cascade 系、RetinaNet、Hybrid Task Cascade など、さまざまなバックボーンを用いて標準的な物体検出モデルを評価する。
• テクスチャバイアスを減らし頑健性を高めるためのデータ拡張としてスタイル転送を導入する（スタイライズ済みの学習データ）。
• 標準データ、スタイライズデータ、組み合わせデータセットなどの学習 regimes を比較し、頑健性の向上を評価する。
• 破損処理（imagecorruptions）、スタイライズ（stylize-datasets）、ベンチマーク運用（robust-detection-benchmark）のオープンソースコードと事前構築ツールを提供する。

実験結果

リサーチクエスチョン

• RQ1 VOC、COCO、Cityscapes の破損画像に対して、一般的な物体検出モデルはどのように性能を示すか？
• RQ2 訓練画像をスタイライズするという単純なデータ拡張は、クリーンな性能を損なうことなく広い破損群に対する頑健性を向上させることができるか？
• RQ3 合成破損に対する頑健性は、運転シーンでの雨、雪、霧などの自然歪みに対する頑健性の向上に繋がるか？
• RQ4 モデルのバックボーン容量と破損耐性の関係はどうなるか？
• RQ5 物体検出における破損頑健性の点で、スタイライズされた事前学習とスタイライズされた最終学習のどちらがより効果的か？

主な発見

• 多くの物体検出およびインスタンス分割モデルは、破損画像で著しい性能低下を被る。
• より強力なバックボーンは一般に破損に対する頑健性を向上させ、頑健性は画像エンコーディング容量とともに拡張することを示している。
• スタイライズ済みデータでの学習は破損全般で頑健性を大幅に向上させ、スタイライズ済みデータと標準データを組み合わせると、破損データでの総合性能が最も良く、クリーンデータの損失は最小限にとどまる。
• スタイライズトレーニングは、雨・雪・霧などの自然な歪みに対する一般化を高め、運転データセットでの日中/夜間および霧の状況にも有用である。
• The Robust Detection Benchmark (PASCAL-C, COCO-C, Cityscapes-C) は頑健性の進捗を標準化して追跡する方法を提供し、スタイライズを超えたアーキテクチャやアルゴリズムの進歩の余地がまだあることを示している。