[論文レビュー] Two-Phase Learning for Weakly Supervised Object Localization

Dahun Kim, Donghyeon Cho+2 more|arXiv (Cornell University)|Aug 7, 2017

Visual Attention and Saliency Detection参考文献 36被引用数 40

ひとこと要約

本稿では、弱教師付きオブジェクト検出の分野において、オブジェクトの最も特徴的な部分にのみ注目するという限界を克服する二段階学習フレームワークを提案する。最初のネットワークの顕著な領域からの活性化を、推論条件付きフィードバックによって二段階目の学習中に抑制することで、補完的で二次的なオブジェクト部品を発見する。両者のヒートマップを組み合わせることで、オブジェクト全体の範囲の局所化を実現し、Pascal VOC 2012で最先端の性能を達成した。

ABSTRACT

Weakly supervised semantic segmentation and localiza- tion have a problem of focusing only on the most important parts of an image since they use only image-level annota- tions. In this paper, we solve this problem fundamentally via two-phase learning. Our networks are trained in two steps. In the first step, a conventional fully convolutional network (FCN) is trained to find the most discriminative parts of an image. In the second step, the activations on the most salient parts are suppressed by inference conditional feedback, and then the second learning is performed to find the area of the next most important parts. By combining the activations of both phases, the entire portion of the tar- get object can be captured. Our proposed training scheme is novel and can be utilized in well-designed techniques for weakly supervised semantic segmentation, salient region detection, and object location prediction. Detailed experi- ments demonstrate the effectiveness of our two-phase learn- ing in each task.

研究の動機と目的

• 画像レベルのアノテーションによる制約から生じる、モデルがオブジェクトの最も特徴的な部分にのみ注目してしまうという弱教師付きオブジェクト検出における根本的限界を解消すること。
• 深層ネットワークが二つの別々の学習段階を通じて、同じオブジェクトの複数の顕著な領域を発見・局所化できる学習戦略を開発すること。
• 二つの補完的ネットワークを順次学習させ、そのヒートマップを統合することで、オブジェクト局所化、セマンティックセグメンテーション、サリエンシー検出の性能を向上させること。
• 外部の領域提案や複雑なプーリング機構に依存しないように、学習プロセスそのものを根本的に変更すること。

提案手法

• 最初の段階では、画像レベルのアノテーションを用いて標準的な完全畳み込みネットワーク（FCN）を訓練し、オブジェクトの最も特徴的な部分を特定し、クラス固有のヒートマップを生成する。
• 二段階目の段階では、推論条件付きフィードバックにより、最初の段階で特定された顕著な領域からの活性化応答を抑制することで、ネットワークが目立たないが依然として関連のあるオブジェクト部分に注目するように強制する。
• 抑制は、最初のネットワークの出力から高活性化領域をマスクすることで推論時に実装され、結果として第二のネットワークが重複する特徴を避けるように条件づけられる。
• 最終的なオブジェクト局所化は、両ネットワークのヒートマップを組み合わせることで達成され、ターゲットオブジェクトの広い空間的範囲を捉える。
• 本手法は、追加のアノテーションを必要とせず、弱教師付きセマンティックセグメンテーション、サリエンシー検出、オブジェクト局所化のタスクに適用可能である。
• 本手法は、mAPおよびIoU指標を用いてPascal VOC 2012データセットで評価され、アブレーションスタディにより二段階設計の有効性が確認された。

実験結果

リサーチクエスチョン

• RQ1 弱教師付き学習において、最も特徴的な部分にのみ注目するのではなく、オブジェクト全体の範囲をよりよく局所化できるように、二段階の学習戦略が有効であるか？
• RQ2 最初のネットワークで最も顕著な特徴を抑制することで、第二のネットワークが意味的に整合的で補完的なオブジェクト領域を発見できるか？
• RQ3 順次学習された二つのネットワークのヒートマップを組み合わせることで、オブジェクト局所化、セグメンテーション、サリエンシー検出の性能がどの程度向上するか？
• RQ4 二つのネットワークが予測する上位活性化領域の空間的位置は、距離および意味的整合性の観点からどの程度一致しているか？

主な発見

• 最初のネットワークはPascal VOC 2012の検証セットでmAP 88.1%を達成し、最も特徴的な部分への強力な局所化能力を確認した。
• 第二のネットワークはmAP 82.6%を達成し、主な特徴が抑制されたにもかかわらず、二次的なオブジェクト部分を効果的に局所化できたことを示した。
• 最初のネットワークと第二のネットワークの予測位置間の平均ユークリッド距離は69ピクセルであり、両者が同一オブジェクトの別々で重複しない領域に注目していることを示した。
• 定性的な結果から、二つのネットワークが異なるが意味的に整合的な部分（例：船の帆、車の柱）を強調しており、補完的特徴の発見が確認された。
• 統合されたヒートマップにより、オブジェクト全体の局所化が顕著に向上し、定性的な結果では拡大され、より正確なセグメンテーションマスクが得られた。
• ベースラインの弱教師付きモデルを上回る性能を発揮し、外部の領域提案や複雑なプーリング層を必要としなかったことから、本手法の有効性とシンプルさが裏付けられた。