[論文レビュー] Self-produced Guidance for Weakly-supervised Object Localization

Xiaolin Zhang, Yunchao Wei+3 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Neural Network Applications参考文献 33被引用数 9

ひとこと要約

本稿では、弱教師ありオブジェクト検出のための新しい手法である自己生成ガイドランス（SPG）を提案する。SPGは、アテンションマップからピクセルレベルの前景・背景マスクを生成することで、空間的相関の学習を向上させる。段階的でトップダウンなアプローチを採用し、補助的监督を用いることで、ILSVRC検証セットにおいて43.83%という新しいSOTA（最良の結果）のTop-1検出誤差率を達成した。

ABSTRACT

Weakly supervised methods usually generate localization results based on attention maps produced by classification networks. However, the attention maps exhibit the most discriminative parts of the object which are small and sparse. We propose to generate Self-produced Guidance (SPG) masks which separate the foreground, the object of interest, from the background to provide the classification networks with spatial correlation information of pixels. A stagewise approach is proposed to incorporate high confident object regions to learn the SPG masks. The high confident regions within attention maps are utilized to progressively learn the SPG masks. The masks are then used as an auxiliary pixel-level supervision to facilitate the training of classification networks. Extensive experiments on ILSVRC demonstrate that SPG is effective in producing high-quality object localizations maps. Particularly, the proposed SPG achieves the Top-1 localization error rate of 43.83% on the ILSVRC validation set, which is a new state-of-the-art error rate.

研究の動機と目的

• 既存の弱教師ありオブジェクト検出手法がアテンションマップからのまばらで特徴的な領域に依存しているという制限を解消すること。
• 補助的なピクセルレベルの監督を用いて、ピクセル間の空間的相関を学習することで、検出精度を向上させること。
• 自信に基づいたシードを用いて段階的に予測を改善する自己教師ありでマルチステージのフレームワークを開発すること。
• ピクセルレベルのアノテーションを一切使用せず、画像レベルのラベルのみで最先端の検出性能を達成すること。

提案手法

• 高い信頼度と低い信頼度の領域を分類することで、アテンションマップから初期の前景および背景シードを生成する。中程度の信頼度の領域は未定義のままとする。
• トップダウンのカスケードとして二本のブランチ（B1 および B2）を用いる：B2はシードマスクを用いてより信頼性の高い前景／背景領域を予測し、B1は低レベル特徴を用いて予測を精緻化する。
• 自己生成ガイドランスは、B1 および B2 の出力を統合することで形成され、これが分類ネットワークの補助的ピクセルレベルの監督として使用される。
• 分類ネットワークは、画像ラベルにおけるクロスエントロピー損失と、SPGマスクにおけるピクセル単位の損失の両方を用いて学習され、完全なオブジェクト領域の検出を促進する。
• 高レベル特徴が低レベル特徴の学習をガイドする段階的学習戦略を採用し、曖昧な領域を段階的に精緻化する。
• B1 および B2 の共有層を用いることで、各段階間での特徴の一貫性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己生成された前景・背景マスクにより、ピクセル間の空間的相関をモデル化することで、弱教師ありオブジェクト検出が向上するか？
• RQ2 段階的でトップダウンな学習戦略と、段階的なシードの精緻化は、単一段階の監督よりも優れた検出マップをもたらすか？
• RQ3 自己生成ガイドランスからの補助的監督は、ベースライン手法と比較して、検出誤差をどの程度低減するか？
• RQ4 提案手法はピクセルレベルのアノテーションを一切必要とせず、最先端の性能を達成できるか？

主な発見

• 提案されたSPG手法は、ILSVRC検証セットでTop-1検出誤差率43.83%を達成し、これは新たなSOTA結果である。
• 正解ラベルを使用した場合、SPG-plainはTop-1誤差37.32%を記録し、先行手法のACoL（37.04%）やMWP（38.70%）を上回った。
• SPG-Cからの補助的監督を用いることで、正解ラベル下での検出誤差は35.31%まで低下し、自己生成ガイドランスの有効性が裏付けられた。
• 二段階のカスケード構造を削除すると誤差は35.58%に上昇し、順次的精緻化がマスク品質の向上に寄与していることが確認された。
• B1 および B2 間の共有層を削除すると誤差は36.31%に上昇し、特徴の共有が性能向上に寄与していることが示された。
• 補助的監督（SPG-C）を削除すると、正解ラベル下での性能は36.06%に低下し、自己生成ガイドランスが検出性能向上の主要因であることが証明された。