[論文レビュー] Reducing Information Bottleneck for Weakly Supervised Semantic\n Segmentation

Jungbeom Lee, Jooyoung Choi+2 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Neural Network Applications被引用数 69

ひとこと要約

本論文は、弱教師ありセマンティックセグメンテーションにおける分類器の最終層の情報ボトルネックを、最後の活性化を削除し GNDRP pooling を導入することで低減し、VOC 2012 および COCO 2014 で局所化と最先端の結果を改善した。

ABSTRACT

Weakly supervised semantic segmentation produces pixel-level localization\nfrom class labels; however, a classifier trained on such labels is likely to\nfocus on a small discriminative region of the target object. We interpret this\nphenomenon using the information bottleneck principle: the final layer of a\ndeep neural network, activated by the sigmoid or softmax activation functions,\ncauses an information bottleneck, and as a result, only a subset of the\ntask-relevant information is passed on to the output. We first support this\nargument through a simulated toy experiment and then propose a method to reduce\nthe information bottleneck by removing the last activation function. In\naddition, we introduce a new pooling method that further encourages the\ntransmission of information from non-discriminative regions to the\nclassification. Our experimental evaluations demonstrate that this simple\nmodification significantly improves the quality of localization maps on both\nthe PASCAL VOC 2012 and MS COCO 2014 datasets, exhibiting a new\nstate-of-the-art performance for weakly supervised semantic segmentation. The\ncode is available at: https://github.com/jbeomlee93/RIB.\n

研究の動機と目的

• 情報ボトルネックが最終層の局在マップを小さな識別領域に焦点化させることを強調する。
• 最終活性化関数を削除するだけの単純な修正でボトルネックを減らす。
• GNDRP pooling を導入して非識別領域からの情報フローを促進する。
• VOC 2012 および COCO 2014 で局在マップとセグメンテーション性能の改善を示す。

提案手法

• モデル解析により、最終層がシグモイド/ソフトマックスなどの二重活性化のために主にボトルネックとなっていることを示す。
• 最終シグモイド活性化を置換し、マージン m を用いて y^c を押す bottleneck のない損失 L_RIB を使用する。
• BCE で学習したベースラインから開始して per-image に L_RIB でファインチューニングして x-適応パラメータを得る。
• GNDRP pooling を導入し、低い CAM スコアの位置のみを集約して非識別領域を最終決定へ押し出す。
• RIB 反復をまたいで CAMs を集約して最終局在マップ M を形成する。
• シードリファインメント(IRN/ PSA) と任意の顕著オブジェクト監 supervision を適用してセグメンテーションの偽 Ground-Truth を生成する。

実験結果

リサーチクエスチョン

• RQ1 最終活性化を削除することで情報ボトルネックを低減し、弱教師ありセグメンテーションの局在マップを改善できるか。
• RQ2 非識別領域を強調するプーリング手法を導入すると局在のカバレッジが高まるか。
• RQ3 画像ごとに適応した微調整（RIB）で偽 ground-truth 生成に適したより情報量の多い CAM を得られるか。
• RQ4 RIB と標準的なシードリファインメントおよび顕著性手がかりを組み合わせるとセグメンテーション性能にどのような影響があるか。

主な発見

Method	val mIoU (%)	test mIoU (%)
IRN (baseline)	63.5	64.8
SEAM	64.5	65.7
CONTA	66.1	66.7
RIB (Ours)	68.3	68.6

• 最終活性化を削除すると情報ボトルネックが低減され、CAM がより広い物体領域をカバーする。
• RIB は CAM ベースラインに対して初期シードを 7.7 ポイント改善。
• RIB と GNDRP は従来法を上回り、PASCAL VOC 2012 で 68.3% val と 68.6% test の mIoU を、画像ラベル監督で達成。
• MS COCO 2014 では RIB は IRN に比べてセードと偽 GT マスクの mIoU を 2.7–3.0 ポイント改善。
• RIB は顕著性監督と組み合わせると、COCO バリデーションで 43.8%、COCO テストで 43.8% の mIoU を達成（明示的局在 cue 設定で、従来のベースラインと比較）。
• VOC と COCO 全体で、RIB は弱教師ありセマンティックセグメンテーションの新しい最先端をもたらす。