[論文レビュー] Deep Learning for Weakly-Supervised Object Detection and Object Localization: A Survey

Feifei Shao, Long Chen+6 more|arXiv (Cornell University)|May 26, 2021

Advanced Neural Network Applications参考文献 86被引用数 9

ひとこと要約

本サーベイは、2016年以降の弱教師付きオブジェクト検出（WSOD）および局在化（WSOL）のためのディーブラーニングアプローチについて包括的な概要を提供する。主な手法、技術、ベンチマーク、評価指標をカバーし、コアな課題を特定し、高度なトレーニングテクニックを分析し、医療画像、3次元検出、動画オブジェクト検出における今後の方向性を提示する。最小限の監視でWSODの性能を向上させるための包括的ロードマップを提供する。

ABSTRACT

Weakly-Supervised Object Detection (WSOD) and Localization (WSOL), i.e., detecting multiple and single instances with bounding boxes in an image using image-level labels, are long-standing and challenging tasks in the CV community. With the success of deep neural networks in object detection, both WSOD and WSOL have received unprecedented attention. Hundreds of WSOD and WSOL methods and numerous techniques have been proposed in the deep learning era. To this end, in this paper, we consider WSOL is a sub-task of WSOD and provide a comprehensive survey of the recent achievements of WSOD. Specifically, we firstly describe the formulation and setting of the WSOD, including the background, challenges, basic framework. Meanwhile, we summarize and analyze all advanced techniques and training tricks for improving detection performance. Then, we introduce the widely-used datasets and evaluation metrics of WSOD. Lastly, we discuss the future directions of WSOD. We believe that these summaries can help pave a way for future research on WSOD and WSOL.

研究の動機と目的

• 2016年以降の弱教師付きオブジェクト検出（WSOD）および局在化（WSOL）手法の進化を体系的かつ分類的にレビューすること。
• WSODにおける主な課題、特にクラスに依存しない局在化とノイズの多い活性マップを特定し、分析すること。
• 異なるアーキテクチャや設定においてWSOD性能を向上させるために有効な高度な技術およびトレーニングテクニックを要約すること。
• WSODモデルのベンチマークに用いられる広く使われているデータセットと標準評価指標を提示すること。
• 医療画像、3次元オブジェクト検出、動画オブジェクト検出における弱教師付き環境下での今後の研究方向性を探索すること。

提案手法

• 本論文は100件以上のWSODおよびWSOL手法をサーベイし、複数のインスタンス学習（MIL）、クラス活性マッピング（CAM）、および領域提案ベースの手法などのカテゴリに分類する。
• 深い畳み込みニューラルネットワーク（CNN）を用いた特徴抽出、提案生成（例：選択的サーチ、エッジボックス）、およびアテンションまたはプーリング機構による局在化を含む、WSODフレームワークのコアな構成要素を分析する。
• 局所化精度を向上させるために、CAMの最適化、空間アテンション、および偽ラベル化の技術を検討し、画像レベルのラベルからの局所化を改善する。
• マルチスケール推論、 adversarial training、および段階的なネットワークなどのトレーニング戦略の有効性を評価し、オブジェクト提案の精錬に寄与する。
• WSDDN、OICR、WILDCAT、WCCNなどのモデルアーキテクチャの詳細な分析を実施し、それらの設計選択とパフォーマンスのトレードオフを強調する。
• 交差エントロピーと対照的学習の弱教師付き設定における使用を含む、異なる損失関数とトレーニングプロトコルの比較を行う。

実験結果

リサーチクエスチョン

• RQ1 MILベースやCAMベースの異なる弱教師付きオブジェクト検出フレームワークは、局所化精度と耐性の観点でどのように比較されるか？
• RQ2 インスタンスレベルのアノテーションが存在しない状況で、WSOD性能を向上させるために最も効果的な技術とトレーニングテクニックは何か？
• RQ3 現在のベンチマークと評価指標（例：PASCAL VOCでのmAP）は、WSODモデルの進歩と限界をどのように反映しているか？
• RQ4 3次元ポイントクラウドや動画シーケンスのような複雑な分野へのWSODの拡張における主な課題は何か？
• RQ5 特に医療画像と軽量デプロイメントにおいて、WSODの今後の最も有望な方向性は何か？

主な発見

• 最先端のWSOD手法は、PASCAL VOC 2007データセットで平均平均精度（mAP）54.9%を達成しているが、完全に教師付きの検出器の86.9% mAPに比べて顕著に低い。
• アテンションメカニズム、偽ラベル化、段階的なネットワークの技術は、オブジェクト提案の精錬により局所化精度を顕著に向上させる。
• クラス活性マップ（CAM）とGrad-CAMの使用により、画像レベルのラベルからの局所化が可能になるが、しばしば粗いまたは不正確なバウンディングボックスを示す。
• OICRやWCCNのような手法は、弱教師付き環境下でエンドツーエンドのトレーニングにより判別性の高い領域を学習することで、性能の向上を示している。
• 軽量ネットワーク設計は、計算リソースが限られたモバイルおよびエッジデバイスへのデプロイメントを可能にする重要な方向性として浮上している。
• 3次元オブジェクト検出および医療画像分野における将来的な応用は強く、特にMRIやレントゲン画像における弱教師付き病変局所化に大きな可能性を秘めている。