[論文レビュー] Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation

Xueyi Li, Tianfei Zhou+3 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Neural Network Applications参考文献 62被引用数 18

ひとこと要約

本論文は、共注意力メカニズムを用いて画像群全体における画像間のセマンティック依存関係をモデル化するグラフニューラルネットワーク（GNN）を用いて、弱教師ありセマンティックセグメンテーションのためのグループワイズなセマンティックマイニングフレームワークを提案する。繰り返しのメッセージ伝達と、特徴を過剰に集中させることを防ぐための新規なグラフドロップアウト層を導入することで、より包括的かつ正確な疑似アノテーションを生成し、PASCAL VOC 2012およびCOCOベンチマークで最先端の性能を達成する。

ABSTRACT

Acquiring sufficient ground-truth supervision to train deep visual models has been a bottleneck over the years due to the data-hungry nature of deep learning. This is exacerbated in some structured prediction tasks, such as semantic segmentation, which requires pixel-level annotations. This work addresses weakly supervised semantic segmentation (WSSS), with the goal of bridging the gap between image-level annotations and pixel-level segmentation. We formulate WSSS as a novel group-wise learning task that explicitly models semantic dependencies in a group of images to estimate more reliable pseudo ground-truths, which can be used for training more accurate segmentation models. In particular, we devise a graph neural network (GNN) for group-wise semantic mining, wherein input images are represented as graph nodes, and the underlying relations between a pair of images are characterized by an efficient co-attention mechanism. Moreover, in order to prevent the model from paying excessive attention to common semantics only, we further propose a graph dropout layer, encouraging the model to learn more accurate and complete object responses. The whole network is end-to-end trainable by iterative message passing, which propagates interaction cues over the images to progressively improve the performance. We conduct experiments on the popular PASCAL VOC 2012 and COCO benchmarks, and our model yields state-of-the-art performance. Our code is available at: https://github.com/Lixy1997/Group-WSSS.

研究の動機と目的

• ピクセルレベルのアノテーションよりも安価な画像レベルのアノテーションのみを用いて、正確なセマンティックセグメンテーションモデルを訓練するという課題に対処すること。
• 単一画像やペアワイズ手法の制限を超えるために、画像群全体におけるより豊かなセマンティック依存関係をモデル化すること。
• 複数の関連画像からの集団的セマンティックコンテキストを活用することで、弱教師あり学習における疑似アノテーションの品質を向上させること。
• 新規なグラフドロップアウト機構により、モデルが最も特徴的な部分にのみ注目するのを防ぎ、完全なオブジェクトの局在化を保証すること。

提案手法

• 本手法は、各画像をノードとし、画像間の関係を共注意力メカニズムでモデル化することで、弱教師ありセマンティックセグメンテーションをグループワイズな学習タスクとして定式化するGNNを採用する。
• GNNは、関連画像からのセマンティックキューを集約することで、画像表現を段階的に精緻化するための反復的メッセージ伝達を実行する。
• 訓練中に特徴をランダムにドロップする新しいグラフドロップアウト層を導入し、特徴が過剰に特徴的な部分に集中するのを防ぎ、より重要なが特徴が弱い部分にも注目させる。
• 自己アンサンブルを用いて中間出力と最終出力を統合することで、性能を向上させる。モデル全体は再帰的メッセージ伝達を通じてエンドツーエンドで学習可能である。
• 共注意力メカニズムは、画像ペアの特徴マップに基づいて関係性を計算し、共通するセマンティックコンテンツを捉えつつ、ノイズを低減する。
• 最終的なセグメンテーション予測は、グラフ推論と自己アンサンブルを経て精錬されたクラスアクティベーションマップ（CAMs）を用いて生成される。

実験結果

リサーチクエスチョン

• RQ1 グループワイズな画像群におけるセマンティック依存関係をモデル化することで、弱教師ありセマンティックセグメンテーションにおける疑似アノテーションの品質が向上するか？
• RQ2 グループワイズ推論は、単一画像またはペアワイズ手法と比較して、完全なオブジェクト構造をどれほどよく捉えられるか？
• RQ3 グラフドロップアウト層が、特徴が著しく強い画像領域に過剰に集中するのをどれほど効果的に防げるか？
• RQ4 セグメンテーション性能を最大化するための最適なメッセージ伝達ステップ数とグラフドロップアウトのハイパーパrameterは何か？

主な発見

• 提案手法は、弱教師あり条件下でPASCAL VOC 2012ベンチマークで最先端の性能を達成し、先行手法を上回る。
• COCOベンチマークでは、自己アンサンブルを用いることでmIoUスコア68.2%を達成し、グラフ出力（67.8%）および中間出力（64.1%）を顕著に上回った。
• グループ内の画像数が4を超えると性能が低下する。これは、局在化が不完全なノイズが支配的になるためであり、K=4を超えると性能のボトルネックが顕在化する。
• 最適なメッセージ伝達ステップ数はT=3であり、これ以上に増やすとわずかな性能低下が生じた。
• グラフドロップアウト層は不可欠である。これを削除するとmIoUが0.5%低下し、より包括的なオブジェクト局在化を可能にする役割を果たしていることが示された。
• 可視化結果から、グラフドロップアウトなしではモデルが最も特徴的な部分（例：ネコの頭部）にのみ注目するが、グラフドロップアウトありでは体など特徴が弱い領域もよりよく活性化される。