[論文レビュー] Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

Claudio Michaelis, Benjamin Mitzkus+6 more|arXiv (Cornell University)|Jul 17, 2019

Advanced Neural Network Applications参考文献 54被引用数 136

ひとこと要約

本論文は物体検出の汚損耐性ベンチマークを3つ提案します（PASCAL-C、COCO-C、Cityscapes-C）そしてスタイライズデータ拡張が汚損とデータセット全体でロバスト性を大幅に向上させることを示します。

ABSTRACT

The ability to detect objects regardless of image distortions or weather conditions is crucial for real-world applications of deep learning like autonomous driving. We here provide an easy-to-use benchmark to assess how object detection models perform when image quality degrades. The three resulting benchmark datasets, termed Pascal-C, Coco-C and Cityscapes-C, contain a large variety of image corruptions. We show that a range of standard object detection models suffer a severe performance loss on corrupted images (down to 30--60\% of the original performance). However, a simple data augmentation trick---stylizing the training images---leads to a substantial increase in robustness across corruption type, severity and dataset. We envision our comprehensive benchmark to track future progress towards building robust object detection models. Benchmark, code and data are publicly available.

研究の動機と目的

• 自動運転の悪天候や歪みに対する堅牢な物体検出の必要性を喚起する。
• 汚損ロバスト性を評価する3つのデータセットを含むRobust Detection Benchmarkを提案する。
• 汚損データ上で標準的な検出モデルを評価し、ロバスト性のギャップを定量化する。
• スタイライズされたトレーニングデータが汚損を跨いでロバスト性を大幅に向上させることを実証する。
• 継続的なロバスト性追跡のためのオープンソースのベンチマークとツールを提供する。

提案手法

• ImageNet-Cに触発した5段階のセverityから15個の汚損を定義し、物体検出評価に適用する。
• 3つのベンチマークデータセット（PASCAL-C、COCO-C、Cityscapes-C）を作成し、標準のテスト分割とデータセット固有の指標を設定する。
• 汚損下で一般的な検出モデル（例：Faster R-CNN、Mask R-CNN、Cascade系、RetinaNet、Hybrid Task Cascade）を評価する。
• スタイライズされたデータ拡張（AdaINベース）を用いて、スタイライズされたデータ、標準データ、またはその組み合わせでモデルを学習させる。
• スタイライズ済みデータと標準データを組み合わせると、クリアデータの性能を損なわずに汚損下のロバスト性（mPC）を向上させることを示す。
• スタイライズされた事前学習のみが十分か、それともスタイライズデータでの直接学習が必要かを評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の物体検出モデルは多様なデータセット（PASCAL-VOC、COCO、Cityscapes）で汚損画像に対してどのように性能を示すのか？
• RQ2 単純なデータ拡張アプローチ（トレーニング画像のスタイライズ）で、追加のラベル付けやアーキテクチャ変更なしに広範な汚損に対するロバスト性を向上させることができるのか？
• RQ3 合成汚損に対するロバスト性は、雨・雪・霧・日夜切替えなどの現実世界の歪みに対するロバスト性に翻訳されるのか？
• RQ4 モデルのバックボーン容量とヘッドアーキテクチャは、汚損下のロバスト性に影響を与えるのか？
• RQ5 スタイライズデータを用いたクリーン精度と汚損下のロバスト性の関係はどうなるのか（スタイライズデータ使用時の比較）？

主な発見

• 物体検出モデルは汚損画像で著しい性能低下を被る（VOC、COCO、CityscapesでのmPC低下）。
• バックボーンの容量は一般にロバスト性を高める; より強力なバックボーンは汚損下の相対性能（rPC）を向上させる。
• トレーニングデータをスタイライズすることは、標準データと組み合わせると、汚損とデータセット全体でロバスト性を大幅に改善し、クリーンデータの損失は小さい。
• 合成汚損に対するロバスト性は現実世界の歪みに対するロバスト性と相関し、WeatherおよびDay/Night/Night条件、Foggy Cityscapesでの性能を向上させる。
• スタイライズされた事前学習は有効だが、ロバスト性の向上にはスタイライズデータでの直接学習または組み合わせ学習の方が優れる。
• Robust Detection Benchmarkは、汚損ロバスト性を評価・追跡するオープンソースのツールとパイプラインを提供する。