[論文レビュー] On learning to localize objects with minimal supervision

Hyun Oh Song, Ross Girshick+4 more|arXiv (Cornell University)|Mar 5, 2014

Advanced Neural Network Applications参考文献 48被引用数 29

ひとこと要約

本論文は、画像レベルのラベル（物体の有無）のみを用いて正確な検出器を学習する弱教師付きオブジェクト検出フレームワークを提案する。正例オブジェクトウィンドウを発見するために判別的サブモジュラカバー法を、精緻化のために滑らかなラテンSVMを用いる。この手法は、PASCAL VOC 2007で最先端の手法に対して50%の相対的なmAP向上を達成した。

ABSTRACT

Learning to localize objects with minimal supervision is an important problem in computer vision, since large fully annotated datasets are extremely costly to obtain. In this paper, we propose a new method that achieves this goal with only image-level labels of whether the objects are present or not. Our approach combines a discriminative submodular cover problem for automatically discovering a set of positive object windows with a smoothed latent SVM formulation. The latter allows us to leverage efficient quasi-Newton optimization techniques. Our experiments demonstrate that the proposed approach provides a 50% relative improvement in mean average precision over the current state-of-the-art on PASCAL VOC 2007 detection.

研究の動機と目的

• インスタンスレベルのアノテーションがなくとも正確なオブジェクト検出器を学習する課題に対処すること。
• 物体の存在・非存在を示す二値の画像レベルラベルのみを用いて、物体の局所化を学習する手法を開発すること。
• サブモジュラ最適化による正例ウィンドウの堅牢な初期化を導入することで、既存の弱教師付き検出手法を改善すること。
• 効率的な準ニュートン最適化を可能にする滑らかなラテンSVM定式化を用いて、検出性能を精緻化すること。
• 最小限の監視のもとで、標準的なPASCAL VOC 2007ベンチマークで最先端の性能を示すこと。

提案手法

• 画像ごとに数百万個の重複する長方形ウィンドウ候補を、選択的サーチを用いて生成する。
• 正例画像との類似性と負例との非類似性に基づき、ターゲットオブジェクトを含む可能性の高いコンactで多様な正例ウィンドウを選択するため、判別的サブモジュラカバー法を適用する。
• 事前学習済みImageNetモデル（DeCAF）からの深層畳み込みニューラルネットワーク（CNN）特徴量を各ウィンドウに用い、PASCALデータ上で微調整を行わない。
• 選択された正例ウィンドウと負例を用いて、滑らかなラテンSVM定式化により初期検出器を学習する。
• 効率的な準ニュートン法を用いてラテンSVMの目的関数を最適化し、検出器を精緻化して局所化精度を向上させる。
• 平均精度を主な指標として用いる、標準的なPASCAL VOC 2007評価プロトコルに従う。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスアノテーションが一切ない画像レベルラベルからのみ、正例オブジェクトウィンドウの堅牢な初期化を学習可能か？
• RQ2 サブモジュラ最適化によるウィンドウ選択は、インスタンス内変動や背景のゴミを効果的に扱う点で、従来のヒューリスティック手法（例：負例マイニング）と比較してどのように優れているか？
• RQ3 弱教師付き学習と深層CNN特徴量を組み合わせた際、滑らかなラテンSVM定式化が検出性能をどの程度向上できるか？
• RQ4 提案手法は、PASCAL VOC 2007における弱教師付きオブジェクト検出の先行研究と比較して、どの程度の性能向上を達成するか？
• RQ5 ポーズや切断情報などの追加のインスタンスレベルアノテーションに依存せずに、PASCAL VOCのような挑戦的なデータセットへ一般化可能か？

主な発見

• 提案されたサブモジュラカバー初期化は、PASCAL VOC 2007で平均平均精度（mAP）29.0%を達成し、先行の最先端手法（Siva et al., 2012）が達成した11.6% mAPを著しく上回った。
• 本手法は、PASCAL VOC 2007の検出ベンチマークにおいて、現在の最先端手法に対して50%の相対的なmAP向上を達成した。
• 負例マイニングベースライン手法は、正例ウィンドウの類似性を考慮しないため、しばしば背景のオブジェクトやオブジェクトの一部、あるいは異なるオブジェクトを統合したウィンドウを選択してしまう。
• 滑らかなラテンSVM定式化により、MIL目的関数の効果的な最適化が可能となり、初期検出器の上乗せでさらなる性能向上が得られた。
• PASCALデータ上で微調整を行わない事前学習済みCNN（DeCAF）を用いても、本フレームワークは強固な性能を維持しており、特徴表現に対する頑健性を示した。
• 本手法は、ポーズや切断アノテーションなどの追加アノテーションに依存しない全PASCAL VOC 2007データセットにおいても最先端の結果を達成し、テストセットでのmAPは15.0%を記録した。これは、追加アノテーションに依存する先行の弱教師付き手法を上回った。