[論文レビュー] Multiple Instance Curriculum Learning for Weakly Supervised Object Detection

Siyang Li, Xiangxin Zhu+3 more|arXiv (Cornell University)|Nov 25, 2017

Image Retrieval and Classification Techniques参考文献 34被引用数 11

ひとこと要約

本稿では、特徴的な部分に注目してしまう問題を緩和するため、意味的セグメンテーションを用いて検出器が部分的な領域に偏らないようにガイドする弱教師ありオブジェクト検出手法であるMultiple Instance Curriculum Learning (MICL)を提案する。検出器とセグメンテーションモデルの予測の一貫性を用いて、自動的に簡単な学習例を選別し、段階的に難しい例へと学習を進める。PASCAL VOCで最先端の性能を達成し、ベースライン手法比で10.6%のmAP向上を達成した。

ABSTRACT

When supervising an object detector with weakly labeled data, most existing approaches are prone to trapping in the discriminative object parts, e.g., finding the face of a cat instead of the full body, due to lacking the supervision on the extent of full objects. To address this challenge, we incorporate object segmentation into the detector training, which guides the model to correctly localize the full objects. We propose the multiple instance curriculum learning (MICL) method, which injects curriculum learning (CL) into the multiple instance learning (MIL) framework. The MICL method starts by automatically picking the easy training examples, where the extent of the segmentation masks agree with detection bounding boxes. The training set is gradually expanded to include harder examples to train strong detectors that handle complex images. The proposed MICL method with segmentation in the loop outperforms the state-of-the-art weakly supervised object detectors by a substantial margin on the PASCAL VOC datasets.

研究の動機と目的

• 局所化の監視が不足しているため、弱教師ありオブジェクト検出器が特徴的な部分（例：ネコの顔）に過剰に注目してしまう問題に対処すること。
• トレーニングループに意味的セグメンテーションネットワークを統合することで、検出器の一般化性能と局所化精度を向上させること。
• 例の難易度に関する明示的監視を必要とせず、誤った難しい例を避けることができるカリキュラム学習戦略を開発すること。
• 検出器とセグメンテーションモデルの予測の一貫性が、例の難易度を信頼できる自動測定指標として機能できることを示すこと。

提案手法

• 現在の検出器から得られるサリエンシーマップを用いてセグメンテーションの種を生成し、'Seed, Expand and Constrain (SEC)'アルゴリズムを用いて完全なマスクに拡張する。
• セグメンテーションマスクを再トレーニング時に検出器のガイドとして用いることで、検出器が特徴的な部分ではなく、完全なオブジェクトの範囲を学習できるようにする。
• 検出器の予測とセグメンテーションマスクの境界が高精度に一致する例を選別することで、一貫性の高い局所化が得られる例を識別し、カリキュラムを構築する。
• 反復的な学習プロセスを実施：まずサリエンシーマップとセグメンテーションを用いた再局所化を行い、次に現在の簡単なサブセットで再トレーニングし、段階的に難しい例へと拡張する。
• 複数例学習（MIL）フレームワークにカリキュラム学習（CL）を統合し、各ラウンドで使用する例のサブセットをランダムサンプリングではなく、一貫性に基づいて選別する。
• 最終的な検出器は収束後に直接テスト画像に適用し、後処理を一切行わない。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありオブジェクト検出に意味的セグメンテーションを統合することで、特徴的な部分への局所化バイアスを低減できるか？
• RQ2 弱教師ありのノイズを含む疑似ラベル付きの例で学習する際、カリキュラム学習は検出器の性能を向上させるか？
• RQ3 検出器とセグメンテーションモデルの予測の一貫性が、効果的で自己教師ありの例の難易度測定指標として機能できるか？
• RQ4 標準ベンチマークにおいて、提案手法MICLは最先端の弱教師あり検出器と比較してmAPおよびCorLocの点でどのように性能を発揮するか？

主な発見

• MICLはPASCAL VOC 2012テストセットで85.9%のmAPを達成し、以前の最先端手法（ConLoc）を8.5ポイントも上回った。
• VOC07データセットでは、カリキュラム学習を導入しないベースラインと比較して、CorLocが18.0ポイント向上し、mAPが10.6ポイント向上した。
• カリキュラム学習を除いた場合、セグメンテーションのヒントのみを用いることで、初期検出器比でmAPが4.4ポイント向上し、CorLocが10.9ポイント向上した。
• カリキュラム学習を削除すると、自動的に選別された簡単なサブセットで学習した場合と比較してmAPが1.7ポイント低下した。これは、例の質が量よりも重要であることを示している。
• アブレーションスタディの結果、検出器とセグメンテーションモデルの予測の一貫性が高いほど、より正確な局所化が達成され、過小および過大推定の誤差が両方とも減少することが確認された。
• 「aeroplane」クラスでは90.6%のCorLocを達成し、「motorbike」クラスでは85.5%を達成した。これは、困難なカテゴリに対しても優れた性能を発揮していることを示している。