[論文レビュー] Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation

Tianyi Zhang, Guosheng Lin+4 more|arXiv (Cornell University)|Mar 7, 2018

Multimodal Machine Learning Applications参考文献 39被引用数 10

ひとこと要約

本論文は、1回の順伝播で物体領域と判別的部位を同時に特定するデカップリングされた空間的ニューラルアテンション機構を提案し、画像ラベルのみを用いて弱教師付きセマンティックセグメンテーションの高品質な疑似アノテーションを生成する。本手法は、反復学習や外部データを用いない同一の監視設定下で、PASCAL VOC 2012ベンチマークで56.4%のmIoUを達成し、最先端の性能を発揮した。

ABSTRACT

Weakly supervised semantic segmentation receives much research attention since it alleviates the need to obtain a large amount of dense pixel-wise ground-truth annotations for the training images. Compared with other forms of weak supervision, image labels are quite efficient to obtain. In our work, we focus on the weakly supervised semantic segmentation with image label annotations. Recent progress for this task has been largely dependent on the quality of generated pseudo-annotations. In this work, inspired by spatial neural-attention for image captioning, we propose a decoupled spatial neural attention network for generating pseudo-annotations. Our decoupled attention structure could simultaneously identify the object regions and localize the discriminative parts which generates high-quality pseudo-annotations in one forward path. The generated pseudo-annotations lead to the segmentation results which achieve the state-of-the-art in weakly-supervised semantic segmentation.

研究の動機と目的

• 画像ラベルのみを用いて、弱教師付きセマンティックセグメンテーションのための高品質な疑似アノテーションを生成する課題に対処すること。
• 従来のトップダウン型サリエンシー手法が判別的部位にのみ注目し、物体全体の範囲を逃すという制限を克服すること。
• ヒューリスティックなマルチステップトレーニングや外部データへの依存を避ける、シンプルでエンドツーエンドかつ反復的でないパイプラインを開発すること。
• デカップリングアテンション機構を用いて物体領域と判別的部位を同時にモデル化することで、セグメンテーション性能を向上させること。

提案手法

• 1回の順伝播で2つの異なるクラス固有のアテンションマップを生成するデカップリングされた空間的ニューラルアテンションモジュールを提案する。
• 拡張アテンションマップは物体領域の全体像を特定することに注目し、判別的アテンションマップは重要な判別的部位を強調する。
• 2つのアテンションマップは補完的であり、それらを組み合わせてセグメンテーションネットワークのトレーニング用により正確な疑似アノテーションを生成する。
• 2段階のパイプラインに統合されている：まず、デカップリングアテンションネットワークが画像ラベルから疑似アノテーションを生成する。次に、その疑似アノテーションを用いてDeepLabに類似したセグメンテーションネットワークをトレーニングする。
• パイプライン全体は反復的フィードバックや外部監視を用いずに、1回のパスでエンドツーエンドにトレーニングされる。
• 分類層の直前にデカップリングアテンションモジュールを適用し、セグメンテーションヘッドにResNet-101およびVGG-16をバックボーンネットワークとして使用する。

実験結果

リサーチクエスチョン

• RQ1 1つのエンドツーエンドアテンション機構が、同時に物体領域全体と判別的部位を効果的に局所化できるか？
• RQ2 2つの補完的マップに空間的アテンションをデカップリングすることで、標準的なトップダウンサリエンシーと比較して疑似アノテーションの品質が向上するか？
• RQ3 反復的でない、1回のパスでのトレーニングパイプラインが、弱教師付きセマンティックセグメンテーションで最先端の性能を達成できるか？
• RQ4 外部データや反復的フィードバックを用いる既存手法と比較して、本手法はどのように異なるか？

主な発見

• 提案手法は、PASCAL VOC 2012のテストセットで56.4%のmIoUを達成し、同じ監視設定下で弱教師付きセマンティックセグメンテーションの新たな最先端性能を確立した。
• ResNet-101バックボーンを用いることで、テストセットで60.1%のmIoUを達成し、画像ラベルのみで外部データを一切使用しないすべての既存手法を上回った。
• アブレーションスタディにより、拡張アテンションマップと判別的アテンションマップの両方が性能向上に顕著に寄与しており、デカップリング設計が単一アテンションベースラインを上回っていることが確認された。
• 反復的トレーニングや外部データを一切使用しないにもかかわらず、優れた結果を達成しており、従来手法よりもシンプルで効率的なパイプラインであることが示された。
• 図7の定性的な結果から、生成された疑似アノテーションが正解マスクと密接に一致しており、特に物体全体の形状と重要な部位を的確に捉えていることが確認された。