[論文レビュー] Multiple Instance Detection Network with Online Instance Classifier Refinement

Peng Tang, Xinggang Wang+2 more|arXiv (Cornell University)|Apr 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 30

ひとこと要約

本論文は、画像ラベルのみを用いてエンドツーエンドで学習する弱教師付きオブジェクト検出のための、オンラインインスタンス分類器の精錬を備えた複数インスタンス検出ネットワーク（MIDN）を提案する。空間的に重複する提案領域を用いて反復的にインスタンス分類器を精錬する多スティームネットワークアーキテクチャにより、PASCAL VOC 2007で47%のmAPを達成し、先行する最先端手法を顕著に上回る性能を発揮した。

ABSTRACT

Of late, weakly supervised object detection is with great importance in object recognition. Based on deep learning, weakly supervised detectors have achieved many promising results. However, compared with fully supervised detection, it is more challenging to train deep network based detectors in a weakly supervised manner. Here we formulate weakly supervised detection as a Multiple Instance Learning (MIL) problem, where instance classifiers (object detectors) are put into the network as hidden nodes. We propose a novel online instance classifier refinement algorithm to integrate MIL and the instance classifier refinement procedure into a single deep network, and train the network end-to-end with only image-level supervision, i.e., without object location information. More precisely, instance labels inferred from weak supervision are propagated to their spatially overlapped instances to refine instance classifier online. The iterative instance classifier refinement procedure is implemented using multiple streams in deep network, where each stream supervises its latter stream. Weakly supervised object detection experiments are carried out on the challenging PASCAL VOC 2007 and 2012 benchmarks. We obtain 47% mAP on VOC 2007 that significantly outperforms the previous state-of-the-art.

研究の動機と目的

• 画像ラベルのみを用いた弱教師付きオブジェクト検出の課題に取り組み、高価なバウンディングボックスラベルの必要を回避すること。
• 標準的な重み付きプーリングを超えて、インスタンス分類器の精錬により、エンドツーエンドディープネットワークにおける局所化精度を向上させること。
• 提案領域間の空間的重複を活用して、遅い交互最適化を回避する、オンラインで反復的なインスタンス分類器の精錬を可能とすること。
• MIL学習と分類器精錬を統合した包括的なディープネットワークを構築し、より優れた判別的局所化を実現すること。

提案手法

• オブジェクト提案領域をインスタンスとして扱い、インスタンス分類器をディープネットワーク内の隠れノードとして統合する複数インスタンス検出ネットワーク（MIDN）を提案する。
• 高スコアの提案領域から空間的に重複する他の提案領域へラベル情報を伝搬する、オンラインインスタンス分類器精錬（OICR）アルゴリズムを導入する。
• 各スティームが次のスティームを監視する多スティームネットワークアーキテクチャを採用し、エンドツーエンドで反復的なインスタンス分類器の精錬を実現する。
• 式 (4) に示す重み付き損失関数を用い、真値との重複度が高い提案領域を優先することで、分類器学習の安定性を向上させる。
• ラベル伝搬のための空間的重複を特定するため、IoU閾値を0.5に設定し、実験によりわずかな閾値変更に対しても頑健であることが示された。
• 確率的勾配降下法を用いて、各フォワードパスの後にラベル精錬を実行することで、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで反復的なインスタンス分類器の精錬は、弱教師付きオブジェクト検出における局所化精度を向上させ得るか？
• RQ2 提案領域間の空間的重複は、ラベル情報の伝搬および分類器性能にどのように影響を与えるか？
• RQ3 多スティームネットワークアーキテクチャは、1つのエンドツーエンド学習プロセスでMIL学習と分類器精錬を効果的に統合できるか？
• RQ4 IoU閾値と損失重み付けの設定が、最終的な検出mAPに与える影響は何か？

主な発見

• 提案されたOICR手法は、PASCAL VOC 2007で47%のmAPを達成し、弱教師付きオブジェクト検出分野における従来の最先端手法を顕著に上回った。
• 精錬プロセスにおいて重み付き損失関数を用いることで顕著な性能向上が得られたが、重みなし損失ではほとんどまたは負の改善にとどまった。
• IoU閾値を0.5に設定しても高い性能を維持でき、0.5〜0.6の範囲で閾値が変化しても結果は安定していた。
• 複数モデルの予測を統合する（OICR-Ens.）ことで、VOC 2012でmAPが38.2%に向上し、FRCNNによるさらなる精錬で42.5%のmAPに到達した。
• 本手法は「自転車」「バス」「オートバイ」などの剛体オブジェクトに対して特に効果的であったが、「ネコ」「イヌ」「人間」などの可動部品を持つオブジェクトでは、代表的部分の部分的局所化のため、性能が劣化した。
• 可視化結果から、精錬により検出器が段階的に物体全体をカバーするようになり、物体領域の過剰または不十分なセグメンテーションが軽減された。