[論文レビュー] Discriminative Region Suppression for Weakly-Supervised Semantic Segmentation

Beomyoung Kim, SangEun Han+1 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Neural Network Applications参考文献 25被引用数 12

ひとこと要約

本稿では、弱教師ありセマンティックセグメンテーションのための、分類ネットワーク内の疎な特徴的領域への注目を抑えることで隣接する非特徴的領域へ活性化を伝搬させる、シンプルでありながら効果的なモジュールである判別的領域抑制（DRS）を提案する。これにより、弱教師ありセマンティックセグメンテーションのための高密度な局在マップが生成される。最小限の追加パラメータと、局在マップの精練学習と呼ばれる自己強化戦略を用いることで、画像ラベルのみを用いてPASCAL VOC 2012で71.4%のmIoUを達成する。

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) using image-level labels has recently attracted much attention for reducing annotation costs. Existing WSSS methods utilize localization maps from the classification network to generate pseudo segmentation labels. However, since localization maps obtained from the classifier focus only on sparse discriminative object regions, it is difficult to generate high-quality segmentation labels. To address this issue, we introduce discriminative region suppression (DRS) module that is a simple yet effective method to expand object activation regions. DRS suppresses the attention on discriminative regions and spreads it to adjacent non-discriminative regions, generating dense localization maps. DRS requires few or no additional parameters and can be plugged into any network. Furthermore, we introduce an additional learning strategy to give a self-enhancement of localization maps, named localization map refinement learning. Benefiting from this refinement learning, localization maps are refined and enhanced by recovering some missing parts or removing noise itself. Due to its simplicity and effectiveness, our approach achieves mIoU 71.4% on the PASCAL VOC 2012 segmentation benchmark using only image-level labels. Extensive experiments demonstrate the effectiveness of our approach. The code is available at https://github.com/qjadud1994/DRS.

研究の動機と目的

• 弱教師ありセマンティックセグメンテーションにおける高品質な疑似セグメンテーションラベル生成を制限する、クラス活性化マップ（CAMs）における疎な活性化の限界を解消すること。
• 特徴的部位を消去せずにオブジェクト活性化領域を拡張する手法を開発し、消去ベースのアプローチで一般的なノイズや偽陰性を回避すること。
• 少数または追加パラメータが不要なプラグアンドプレイモジュールを導入し、あらゆるネットワークアーキテクチャに統合可能にすること。
• 自己教師学習による精練を通じて局在マップを向上させ、欠落または弱く活性化された領域を回復すること。

提案手法

• DRSは3つのコンponentから構成される：特徴マップ内のK個の主要な活性化ポイントを特定する最大要素抽出器、各ポイントの抑制重みを予測する抑制制御部、特徴的領域への注目を低下させる抑制部。
• 抑制制御部は、学習可能または非学習可能なメカニズムを用いて、各特徴的領域をどの程度抑制するかを制御し、注目が隣接する非特徴的領域へ広がるのを可能にする。
• 抑制部は、制御部の出力をもとに空間的に適応的な抑制を適用し、特徴マップ全体にわたって活性化を拡散させ、高密度な局在マップを生成する。
• 局在マップの精錬学習は、自己強化戦略として導入され、モデルが反復的に局在マップ内の欠落または弱く活性化された領域を回復できるようにする。
• 本手法はあらゆる分類バックボーンと互換性があり、CRFやマルチブランチネットワークを必要としないため、高速かつ安定した学習が可能である。
• 疑似セグメンテーションラベルは、高密度な局在マップから生成され、セマンティックセグメンテーションネットワークの学習に使用される。

実験結果

リサーチクエスチョン

• RQ1 特徴的領域を完全に消去する代わりに注目を抑制することで、弱教師ありセマンティックセグメンテーションにおけるオブジェクト活性化領域の拡張が、より効果的かつノイズのないものになるか。
• RQ2 顕著なパラメータやアーキテクチャの複雑さを追加せずに、高密度な局在マップを生成するための軽量モジュールをどのように設計できるか。
• RQ3 局在マップの自己強化メカニズムが、欠落または弱く活性化された領域を回復させることで、セグメンテーション性能を向上させるか。
• RQ4 mIoU、学習効率、耐性の観点から、提案手法は最先端の手法と比較してどのように差をつけるか。

主な発見

• DRSは、画像ラベルのみを用いてPASCAL VOC 2012のテストセットで71.4%のmIoUを達成し、多くの既存手法を上回る性能を示した。
• CRFを一切不要とせず、より高速な学習が可能である一方で、ICD や OAA などの最先端手法と同等の性能を達成した。
• 局在マップの精錬学習により、異なるバックボーン設定でそれぞれ0.6%および0.8%のmIoU向上が確認され、局在マップの自己強化が有効であることが示された。
• 学習可能と非学習可能な制御部の両方で、ほぼ同一の性能が得られ、実装の柔軟性と頑健性が裏付けられた。
• AE-PSL や GAIN といった消去ベースの手法よりもDRSが優れており、特徴的部位の完全な除去ではなく抑制がより効果的であることが示された。
• 本手法はさまざまなセグメンテーションネットワークと高い相性を示し、VGG-16、ResNet-101、DeepLab-ASPP といった異なるバックボーンにおいても高い性能を維持した。