[論文レビュー] UG$^{2+}$ Track 2: A Collective Benchmark Effort for Evaluating and Advancing Image Understanding in Poor Visibility Environments

Ye Yuan, Wenhan Yang+4 more|arXiv (Cornell University)|Apr 9, 2019

Image Enhancement Techniques参考文献 149被引用数 36

ひとこと要約

この論文は UG2+ Track 2 を紹介する。3つの実世界データセット（霧、低照度、雨滴）を用いて、視界不良下の物体/顔検出を共同で評価・進展させる総合ベンチマークであり、ベースライン結果は改善の余地が大きいことを示している。

ABSTRACT

The UG$^{2+}$ challenge in IEEE CVPR 2019 aims to evoke a comprehensive discussion and exploration about how low-level vision techniques can benefit the high-level automatic visual recognition in various scenarios. In its second track, we focus on object or face detection in poor visibility enhancements caused by bad weathers (haze, rain) and low light conditions. While existing enhancement methods are empirically expected to help the high-level end task, that is observed to not always be the case in practice. To provide a more thorough examination and fair comparison, we introduce three benchmark sets collected in real-world hazy, rainy, and low-light conditions, respectively, with annotate objects/faces annotated. To our best knowledge, this is the first and currently largest effort of its kind. Baseline results by cascading existing enhancement and detection models are reported, indicating the highly challenging nature of our new data as well as the large room for further technical innovations. We expect a large participation from the broad research community to address these challenges together.

研究の動機と目的

• 野外での堅牢な視覚センサリングを動機づけるために、天候と照度の劣化下で検出を評価する。
• 霧、露出不足、雨の影響を検出/認識で研究するための注釈付き実世界データセットを3つ提供する。
• 低レベルの視覚改善が高レベルの認識に寄与するかを評価し、半教師あり/ゼロショット学習設定を検討する。
• ギャップを定量化し、今後の方法論的な革新を促進するためのベースライン結果を提供する。

提案手法

• 3つのサブチャレンジは、異なる視界不良条件を捉える：霧（Challenge 2.1）、低照度/露出不足（Challenge 2.2）、雨滴の遮蔽（Challenge 2.3）。
• 新しいベンチマークデータセットとして以下を提供：霧のある場面の RESIDE RTTS（訓練/検証用に 4,322 枚の注釈付き画像、五つのオブジェクトカテゴリ、検証用・訓練用、2,987 枚の霧ありテスト画像）、DARK FACE（訓練/検証用に 10,000 の露出不足の顔、合計 43,849 顔、訓練/検証用、テスト画像 4,000 枚、37,711 顔）、およびほぼゼロショット訓練用の 1,010 の雨滴画像ペアと、2,495 枚の保持テストセット。
• Degradation の影響と復元の検出性能への影響を定量化するために、既成の復元・強化手法と事前学習済み検出モデルを用いたベースライン評価を実施する。
• 評価指標は IoU 0.5 のときの平均適合率（mAP）で、同点が生じた場合には高い IoU を用いて判定する。

実験結果

リサーチクエスチョン

• RQ1 現在の物体/顔検出器は、タスク特有の適応なしに、実世界の霧雨・低照度画像でどの程度の性能を示すのか。
• RQ2 従来の復元/強化パイプラインは、視界不良下の高レベルの検出/認識性能を改善できるのか。
• RQ3 degraded 環境での検出のために、（半）教師ありまたはゼロショット学習設定を活用する利点は何か。
• RQ4 実世界の劣化が、人工的に生成されたものと比較して検出器の性能と評価にどのような差をもたらすのか。
• RQ5 低レベルの強化と高レベルの認識を共同最適化する際の制限と今後の方向性は何か。

主な発見

• クリーンデータで事前学習したベースライン検出器は、霧画像で著しく性能が低下する。Mask R-CNN は霧の検証データで約 41.83 mAP を達成し、他の検出器でも同程度の結果となる。
• 復元処理によって検出が僅かに改善される場合があり（平均で約 1% の mAP）、検出に用いる際には Mask R-CNN が最も良い検出性能を示すことが多い。
• サブチャレンジ 2.1 では、保持されたテストセットの結果が検証より大幅に低く、ドメインギャップと実世界の霧の難しさを示す（テストの mAP は tens 台で、high tens には及ばない）。
• サブチャレンジ 2.2 では DARK FACE データセットを用い、訓練/検証用に 10,000 の注釈付き顔（43,849 顔）と 4,000 のテスト画像（37,711 顔）を用い、低露出下での顔検出におけるスケール・姿勢・照明の大きなばらつきを示している。
• サブチャレンジ 2.3 は訓練/検証用に 1,010 の雨滴ペアと保持テストセット 2,495 枚を提供し、初期の結果は、雨に関連する遮蔽下で道路物体検出のゼロショット/無監督設定が依然として難しいことを示している。
• 総じて、本論文は Challenge 2.1 および 2.2 では優勝者の MAP が 65 未満、Challenge 2.3 では基準結果を上回る参加者がいないことを報告しており、難易度が高く、方法論的な進歩の余地が大きいことを強調している。