[論文レビュー] C-WSL: Count-guided Weakly Supervised Localization

Mingfei Gao, Ang Li+3 more|arXiv (Cornell University)|Nov 14, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 9

ひとこと要約

C-WSLは、弱教師ありオブジェクト検出における局所化精度の向上を目的として、クラス別オブジェクト数を軽量な監督信号として用いるcount-guided weakly supervised localizationを導入する。単純な数え上げに基づく領域選択（CRS）アルゴリズムを活用することで、高品質で単一インスタンスのオブジェクト候補を特定し、複数オブジェクトを含むボックスによる誤検出を顕著に低減。VOC2007およびVOC2012で最先端手法を上回り、mAPを最大2.1ポイント向上させる。

ABSTRACT

We introduce count-guided weakly supervised localization (C-WSL), an approach that uses per-class object count as a new form of supervision to improve weakly supervised localization (WSL). C-WSL uses a simple count-based region selection algorithm to select high-quality regions, each of which covers a single object instance during training, and improves existing WSL methods by training with the selected regions. To demonstrate the effectiveness of C-WSL, we integrate it into two WSL architectures and conduct extensive experiments on VOC2007 and VOC2012. Experimental results show that C-WSL leads to large improvements in WSL and that the proposed approach significantly outperforms the state-of-the-art methods. The results of annotation experiments on VOC2007 suggest that a modest extra time is needed to obtain per-class object counts compared to labeling only object categories in an image. Furthermore, we reduce the annotation time by more than $2 imes$ and $38 imes$ compared to center-click and bounding-box annotations.

研究の動機と目的

• 複数のオブジェクトが1つのバウンディングボックスにまとまってしまう、弱教師あり局所化の一般的な失敗モードに対処すること。
• バウンディングボックスやセンタークリックのアノテーションと比較して安価な、クラス別オブジェクト数を活用することでアノテーションコストを低減すること。
• 数え上げによる監督信号を用いて、高品質で単一インスタンスのオブジェクト候補を選択することで、検出性能を向上させること。
• ADR や ODR のような反復的 WSL フレームワークにおいて、数え上げ監督が検出器の最適化を顕著に向上させることを示すこと。

提案手法

• クラス別オブジェクト数に従って、1クラスあたり正確に1つのインスタンスをカバーするオブジェクト候補を選択する、Count-based Region Selection（CRS）アルゴリズムを導入する。
• CRSを2つの既存のWSLフレームワーク（交替的検出器最適化（ADR）およびオンライン検出器最適化（ODR））に統合し、反復的な検出器改善を実現する。
• 画像レベルのオブジェクト数を弱教師信号として用い、領域選択を制約することで、選択された候補がタイトでインスタンス固有のものであることを保証する。
• 選択された高品質な領域を仮の正例として用いて検出器を学習させることで、インスタンスレベルのアノテーションなしで局所化精度を向上させる。
• 人間が少数のオブジェクト（1〜4個）を素早く数える「即時認識効果（subitizing effect）」を根拠に、数え上げアノテーションの低コスト性を正当化する。
• ADRおよびODRにおける反復的最適化を活用し、数え上げに従う領域選択を用いて、段階的に検出性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クラス別オブジェクト数は、効果的かつ低コストな監督信号として弱教師ありオブジェクト局所化を改善するために有効であるか？
• RQ2 数え上げに従う領域選択は、複数オブジェクトが1つのバウンディングボックスにまとまってしまうという一般的な失敗モードを軽減するか？
• RQ3 最先端のWSL手法と比較して、数え上げ監督の統合がmAPおよび局所化品質に与える影響は何か？
• RQ4 センタークリックやバウンディングボックスアノテーションと比較して、クラス別オブジェクト数のアノテーションコストはどの程度か？
• RQ5 数え上げ監督は反復的WSL学習における収束速度の向上と性能向上にどの程度寄与するか？

主な発見

• C-WSLはVOC2007でWSLPDAのmAPを17.9%から19.6%に向上させ、1.7ポイントの向上を達成した。
• C-WSL:OICR+ADRはOICRのmAPを18.7%から20.1%に向上させ、1.4ポイントの改善を示した。
• C-WSL:ODR+FRCNNはVOC2007でmAPを19.0%から20.0%に向上させ、アーキテクチャに依存しない一貫性ある向上を示した。
• 数え上げ監督の追加により、WSLPDAではmAPが3.0ポイント、OICRでは1.5ポイント向上し、その貢献度の高さが示された。
• アノテーション実験の結果、クラス別オブジェクト数のアノテーションはカテゴリラベル付けに比べてわずかに追加時間がかかるだけであり、センタークリックアノテーションの2倍以下、バウンディングボックスアノテーションの38倍も短縮された。
• 「person」カテゴリはWSLにおいて特に困難であるが、サイズに基づく事前フィルタリングとC-WSLを組み合わせることで、APは20.3%から40.0%に向上した。これは、追加の制約を導入することでさらなる向上が期待できる可能性を示している。