[論文レビュー] Self-Erasing Network for Integral Object Attention

Qibin Hou, Peng-Tao Jiang+2 more|arXiv (Cornell University)|Oct 23, 2018

Advanced Neural Network Applications参考文献 28被引用数 15

ひとこと要約

本稿では、背景事前知識に基づく自己消去戦略を活用して、背景領域への注意マップの拡散を防ぐことで、弱教師ありセマンティックセグメンテーションのための新規アテンションメカニズムであるSelf-Erasing Network (SeeNet) を提案する。初期マップをしきい値処理することで注意を可能性の高い物体領域に限定することで、SeeNetは高品質で一貫性のある物体注意マップを生成し、Pascal VOC 2012 で最先端の性能を達成し、従来手法より2%以上の向上を達成した。

ABSTRACT

Recently, adversarial erasing for weakly-supervised object attention has been deeply studied due to its capability in localizing integral object regions. However, such a strategy raises one key problem that attention regions will gradually expand to non-object regions as training iterations continue, which significantly decreases the quality of the produced attention maps. To tackle such an issue as well as promote the quality of object attention, we introduce a simple yet effective Self-Erasing Network (SeeNet) to prohibit attentions from spreading to unexpected background regions. In particular, SeeNet leverages two self-erasing strategies to encourage networks to use reliable object and background cues for learning to attention. In this way, integral object regions can be effectively highlighted without including much more background regions. To test the quality of the generated attention maps, we employ the mined object regions as heuristic cues for learning semantic segmentation models. Experiments on Pascal VOC well demonstrate the superiority of our SeeNet over other state-of-the-art methods.

研究の動機と目的

• 弱教師ありオブジェクト検出における敵対的消去処理中に、注意マップが背景領域に拡散する問題に対処すること。
• 信頼性の高い背景および物体の手がかりを統合することで、弱教師ありセマンティックセグメンテーションの注意マップの品質を向上させること。
• 高確率の物体領域に注意を限定する自己消去メカニズムを構築することにより、非物体領域への過剰なエロージョンを回避すること。
• SeeNetから得られる高品質なプロキシアノテーションが、優れたセグメンテーション性能をもたらすことを実証すること。

提案手法

• SeeNetは初期アテンション生成器を用いてクラスアクティベーションマップを生成し、それを三つの領域にしきい値処理する：高信頼度の物体領域、低信頼度の物体領域、背景領域。
• 二つの自己消去戦略を適用する：一つは低信頼度の物体領域を消去し、もう一つは背景領域を消去する。両者とも、しきい値処理されたマップを事前知識として用いる。
• ネットワークは、背景領域での注意の抑制を重視しながら、一貫性のある物体領域の保持を目的として、エンドツーエンドで訓練される。
• 得られた注意マップは、サリエンシー・マップと単純に統合することで、ヒューリスティックなヒントとしてセマンティックセグメンテーションネットワークの学習に用いられる。
• 本手法は、VGGNet および DeepLab-LargeFOV をベースモデルとして用いて、Pascal VOC 2012 ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 背景事前知識に基づく自己消去戦略は、敵対的消去処理中に予期しない背景領域への注意の拡散を効果的に防げるか？
• RQ2 初期アテンションマップに基づく潜在的領域に注意を限定することは、弱教師あり設定におけるオブジェクト検出の品質を向上させるか？
• RQ3 SeeNetが生成する注意マップは、CAM や敵対的消去ベースラインと比較して、セグメンテーション性能において優れているか？
• RQ4 SeeNetのプロキシアノテーションの使用が、弱教師ありセマンティックセグメンテーションの精度をどの程度向上させるか？

主な発見

• 同じVGGNetバックボーンを用いた場合、Pascal VOC 2012 の検証セットにおいて、SeeNetはDCSPに対して2.1%の絶対的向上を達成した。
• AE-PSL や GAIN などの敵対的消去ベースラインと比較して顕著に優れた性能を示し、本手法の注意マップの優位性を実証した。
• 可視化結果から、SeeNetは一貫性のある物体領域内に注意を維持しており、背景領域への漏れ込みを回避しているのに対し、ベースライン手法は段階的に非物体領域を含むようになることが明らかになった。
• 失敗事例の主な原因は、重複しているか曖昧な物体境界であり、特にコントラストが低いか複数のオブジェクトが存在する複雑なシーンで顕著に見られた。
• 明示的な背景事前知識の統合のおかげで、多様なシーン、特に複雑な背景を含むシーンに対しても本手法は頑健であることが示された。