[論文レビュー] L2G: A Simple Local-to-Global Knowledge Transfer Framework for Weakly Supervised Semantic Segmentation

Peng-Tao Jiang, Yuqi Yang+2 more|arXiv (Cornell University)|Apr 7, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

L2G は、弱教師ありセマンティックセグメンテーションのためのシンプルな局所からグローバルへの知識伝達フレームワークを提案する。複数の局所的画像パッチを活用して高品質なクラスアクティビティマップ（CAMs）を生成し、オンライン知識蒸留を用いてそれをグローバルネットワークに蒸留する。本手法は、画像レベルの監督信号を用いて、PASCAL VOC 2012 で 72.1% の mIoU、MS COCO 2014 で 44.2% の mIoU を達成し、最先端の性能を発揮する。

ABSTRACT

Mining precise class-aware attention maps, a.k.a, class activation maps, is essential for weakly supervised semantic segmentation. In this paper, we present L2G, a simple online local-to-global knowledge transfer framework for high-quality object attention mining. We observe that classification models can discover object regions with more details when replacing the input image with its local patches. Taking this into account, we first leverage a local classification network to extract attentions from multiple local patches randomly cropped from the input image. Then, we utilize a global network to learn complementary attention knowledge across multiple local attention maps online. Our framework conducts the global network to learn the captured rich object detail knowledge from a global view and thereby produces high-quality attention maps that can be directly used as pseudo annotations for semantic segmentation networks. Experiments show that our method attains 72.1% and 44.2% mIoU scores on the validation set of PASCAL VOC 2012 and MS COCO 2014, respectively, setting new state-of-the-art records. Code is available at https://github.com/PengtaoJiang/L2G.

研究の動機と目的

• 画像レベルのラベルを用いて、弱教師ありセマンティックセグメンテーションにおけるクラスアクティビティマップ（CAMs）の品質を向上させること。
• グローバルモデルが細粒度のオブジェクトの詳細を捉えきれないという限界を、局所的画像パッチを活用することで克服すること。
• 局所ネットワークからグローバルネットワークへのオンライン知識伝達を可能にし、注目マップの品質を向上させること。
• より高機能な局所モデル（例：トランスフォーマー）と統合可能な柔軟でシンプルなフレームワークを構築すること。

提案手法

• 本手法は、入力画像のランダムにクロップされた局所的パッチから注目マップを抽出する局所分類ネットワークを用いる。
• グローバルネットワークは、複数の局所的注目マップからの補完的知識を知識蒸留損失を通じて蒸留するように訓練される。
• フレームワークはオンライン知識伝達を実行し、グローバルネットワークが多様な局所的視点から豊富な局所的詳細を学習できるようにする。
• グローバルネットワークの最終的な注目マップは、セグメンテーションネットワークのための偽アノテーションとして機能する。
• アーキテクチャはモジュール型であり、さらなる向上のための強力な局所モデル（例：トランスフォーマー）の統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 全体の画像を用いるのと比較して、局所的画像パッチを用いることで、クラスアクティビティマップの品質が向上するか？
• RQ2 複数の局所的視点からの補完的注目知識を、オンラインの方法でグローバルネットワークに効果的に伝達できるか？
• RQ3 提案された局所からグローバルへの知識伝達フレームワークは、既存の最先端手法を上回る性能を発揮するか？
• RQ4 本手法は、PASCAL VOC 2012 や MS COCO 2014 といった、挑戦的なベンチマークを含むさまざまなデータセットに一般化できるか？

主な発見

• L2G フレームワークは、PASCAL VOC 2012 の検証セットで 72.1% の mIoU を達成し、弱教師あり学習における新たな最先端性能を樹立した。
• MS COCO 2014 の検証セットでは、44.2% の mIoU を達成し、以前の手法を著しく上回った。
• PASCAL VOC 2012 において、前回の最先端手法 EPS よりも約 1% の向上を達成し、局所からグローバルへの知識伝達の有効性を示した。
• L2G が生成する偽ラベルの mIoU は、MS COCO で 43.4% に達したのに対し、EPS では 37.2% にとどまり、注目マップの品質が優れていることが示された。
• アブレーションスタディの結果、局所的注目マップの品質と知識蒸留の両方が、性能向上に顕著な寄与をしていることが確認された。