[論文レビュー] Towards Precise End-to-end Weakly Supervised Object Detection Network

Ke Yang, Dongsheng Li+1 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 45被引用数 6

ひとこと要約

本論文は、2段階のトレーニングにおける局所的最適解問題を回避するため、1つの共有バックボーンで複数のインスタンス学習（MIL）検出とバウンディングボックス回帰を統合的に最適化するエンドツーエンドの弱教師付きオブジェクト検出ネットワークを提案する。分類ガイドドアテンションモジュールにより、画像レベルラベルを活用して特徴学習を強化し、PASCAL VOC 2007と2012で47.0% mAPおよびVOC 2007で60.6% CorLocという最先端性能を達成した。

ABSTRACT

It is challenging for weakly supervised object detection network to precisely predict the positions of the objects, since there are no instance-level category annotations. Most existing methods tend to solve this problem by using a two-phase learning procedure, i.e., multiple instance learning detector followed by a fully supervised learning detector with bounding-box regression. Based on our observation, this procedure may lead to local minima for some object categories. In this paper, we propose to jointly train the two phases in an end-to-end manner to tackle this problem. Specifically, we design a single network with both multiple instance learning and bounding-box regression branches that share the same backbone. Meanwhile, a guided attention module using classification loss is added to the backbone for effectively extracting the implicit location information in the features. Experimental results on public datasets show that our method achieves state-of-the-art performance.

研究の動機と目的

• 2段階の弱教師付きオブジェクト検出の限界に対処する。具体的には、MIL検出器が特徴的な部分に過学習し、局所化性能が低下する問題を解消する。
• MIL検出器から得られる不正確な仮の真値に基づく2段階目の回帰で生じる局所的最適解問題を克服する。
• MIL検出器とバウンディングボックス回帰器をエンドツーエンドで統合的にトレーニングすることで、局所化精度を向上させる。
• バックボーンに分類ガイドドアテンションモジュールを導入し、画像レベルラベルを活用して特徴表現を強化することで、局所化性能を向上させる。
• 単一の統合モデルでPASCAL VOC 2007および2012で最先端性能を達成し、マルチモデルアンサンブルを上回ることを目的とする。

提案手法

• 2つの並列ブランチ（MIL検出ブランチとFast R-CNN風の分類・回帰ブランチ）を備えた1つの深層ニューラルネットワークを設計。両ブランチは同じバックボーンを共有する。
• 領域提案（例：Selective Searchから得られるもの）を用い、各画像に対してスコアが最も高い提案領域を回帰ブランチの仮の真値として選択する。
• 分類ガイドドアテンションモジュールを導入。画像レベル分類損失を用いて特徴学習を監視し、局所化感度を向上させる。
• MIL分類損失、分類クロスエントロピー、バウンディングボックス回帰損失を統合した共同損失関数を用いて、両ブランチをエンドツーエンドでトレーニングする。
• 各改善ステップ後に回帰ブランチのRoIに対して特徴再抽出を実施し、空間的一致性を維持する。
• 公平な比較のため、OICRと同一のコードベースを採用し、トレーニングおよび評価プロトコルを一貫させる。

実験結果

リサーチクエスチョン

• RQ1 MIL検出とバウンディングボックス回帰のエンドツーエンド統合最適化は、弱教師付きオブジェクト検出における局所化精度を向上させるか？
• RQ2 画像レベルラベルで訓練されたガイドドアテンションモジュールは、オブジェクト局所化のための特徴表現を向上させるか？
• RQ3 統合的トレーニングは、2段階手法が抱える特徴的な部分（例：ネコの頭）への過学習を是正できるか？
• RQ4 標準ベンチマーク上でのmAPおよびCorLocの観点から、提案手法は最先端手法と比較してどのように性能を発揮するか？
• RQ5 統合的トレーニング戦略は、高い性能を達成するためのアンサンブルモデルやマルチフェーズパイプラインへの依存を軽減できるか？

主な発見

• 提案手法はPASCAL VOC 2007で47.0% mAPおよび60.6% CorLocを達成し、ベースラインのOICR+FRCNを上回り、先行研究のアンサンブルモデルをも凌駕した。
• OICRベースライン比でmAPを6%向上させた。C-WSLは追加のオブジェクト数ラベルを用いているが、わずか1.5%の改善にとどまるのと比較して顕著な向上を示した。
• 過学習に陥りやすいネコおよびイヌのカテゴリでは、それぞれmAPが38.6%および16.3%向上し、局所的最適解の抑制効果が明確に示された。
• 統合トレーニング戦略により、MIL検出器が特徴的な部分に過剰に注目する傾向が軽減された。定性的な比較では、モデルがより完全なオブジェクト位置を学習していることが確認された。
• 単一モデルの性能が、OICRのアンサンブル（48.6% mAP）をも上回った。これは統合アーキテクチャの有効性を裏付ける。
• ガイドドアテンションモジュールは、画像レベルラベルからのグローバルコンテキストを活用して特徴学習を強化することで、検出精度に顕著な寄与を示した。