[論文レビュー] Threshold Matters in WSSS: Manipulating the Activation for the Robust and Accurate Segmentation Model Against Thresholds

Minhyun Lee, Dongseob Kim+1 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿は、弱教師付きセマンティックセグメンテーション（WSSS）における主要なボトル neck が、オブジェクトのスパarsity によるカバレッジではなく、クラス活性化マッピング（CAM）後のグローバルしきい値処理であると特定した。本稿では、ピクセル単位の分類とラベル条件付けを用いて、前景活性化のアンバランスを低減し、前景-背景活性化ギャップを拡大するアクティベーション操作ネットワーク（AMN）を提案する。これにより、しきい値の選択に依存しない、安定的かつ高精度な疑似マスクが得られ、PASCAL VOC 2012 で 70.7%、MS COCO 2014 で 44.7% の新たなSOTA mIoUスコアを達成した。

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) has recently gained much attention for its promise to train segmentation models only with image-level labels. Existing WSSS methods commonly argue that the sparse coverage of CAM incurs the performance bottleneck of WSSS. This paper provides analytical and empirical evidence that the actual bottleneck may not be sparse coverage but a global thresholding scheme applied after CAM. Then, we show that this issue can be mitigated by satisfying two conditions; 1) reducing the imbalance in the foreground activation and 2) increasing the gap between the foreground and the background activation. Based on these findings, we propose a novel activation manipulation network with a per-pixel classification loss and a label conditioning module. Per-pixel classification naturally induces two-level activation in activation maps, which can penalize the most discriminative parts, promote the less discriminative parts, and deactivate the background regions. Label conditioning imposes that the output label of pseudo-masks should be any of true image-level labels; it penalizes the wrong activation assigned to non-target classes. Based on extensive analysis and evaluations, we demonstrate that each component helps produce accurate pseudo-masks, achieving the robustness against the choice of the global threshold. Finally, our model achieves state-of-the-art records on both PASCAL VOC 2012 and MS COCO 2014 datasets.

研究の動機と目的

• WSSSにおける性能ボトル neck が、CAM のスパarsity によるカバレッジに起因するのか、それともCAM後に適用されるグローバルしきい値処理に起因するのかを調査すること。
• グローバルしきい値が、画像ごとの最適しきい値のばらつきにより、なぜ一般化できないのかを分析すること。
• 画像ごとのしきい値チューニングを必要とせず、高品質でしきい値に頑健な疑似マスクを生成する手法を開発すること。
• 画像ラベルのみを用いて、活性化マップを操作することでアンバランスを低減し、前景-背景ギャップを拡大し、WSSSでSOTAの性能を達成すること。

提案手法

• ピクセル単位の分類損失を用いて、2段階の活性化（前景：1、背景：0）を学習するアクティベーション操作ネットワーク（AMN）を提案する。
• 真の画像ラベルと一致する疑似マスク出力を強制するラベル条件付けモジュールを導入し、非ターゲットクラスの誤った活性化をペナルティ処理する。
• ピクセル単位の分類を用いて、同時に高い識別性を持つ領域のペナルティと、同じオブジェクト内での識別性が低い部分の促進を実現する。
• 操作された活性化マップに対してグローバルしきい値処理を適用し、活性化ギャップが拡大されているため、さまざまなしきい値設定でも一貫した性能を発揮する。
• 3段階の訓練プロトコルを採用：分類器の事前学習、ピクセル単位損失とラベル条件付けを用いたAMNの学習、その後、セグメンテーションヘッドのファインチューニング。
• 分類器でグローバル平均プーリング（GAP）を用いるが、その平均化効果を補うためにアクティベーション操作を導入し、しきい値感度を低減する。

実験結果

リサーチクエスチョン

• RQ1 WSSSにおける性能ボトル neck は、CAM のスパarsity カバレッジに起因するのか、それともCAM後のグローバルしきい値処理に起因するのか？
• RQ2 なぜグローバルしきい値は画像間で一般化できないのか？ また、最適なしきい値は画像ごとにどのように変化するのか？
• RQ3 活性化マップを操作してアンバランスを低減し、前景-背景ギャップを拡大することで、しきい値に頑健な疑似マスクを達成できるか？
• RQ4 ピクセル単位の分類損失とラベル条件付けモジュールが、同時に疑似マスクの品質と頑健性を向上させられるか？
• RQ5 提案されたAMN手法は、PASCAL VOC 2012 や MS COCO 2014 のような標準的なWSSSベンチマークでSOTA性能を達成できるか？

主な発見

• CAM における最適なしきい値は画像ごとに顕著に異なり、PASCAL VOC 2012 の学習セットにおいて広い分布を示しており、グローバルしきい値が非最適であることを示している。
• グローバルしきい値は、画像によっては過度にスパarsなマスク、あるいは過度に密集したマスクを生成する可能性があり、その不安定性が明らかになった。
• 提案されたAMN手法は、MS COCOで事前学習されたバックボーンを用いて、PASCAL VOC 2012 で 70.7% のmIoUを達成し、画像ラベルのみを用いたWSSSにおける新たなSOTAを樹立した。
• MS COCO 2014 では44.7%のmIoUを達成し、これも新たなSOTAであり、大規模ベンチマークでも有効であることを確認した。
• 「dining table」（37.5% → 53.8% mIoU）や「tv」（54.9% → 57.5% mIoU）といった、従来困難であったクラスでも顕著な性能向上を示し、活性化アンバランスに対する頑健性を示した。
• 定性的な結果では、オブジェクト全体のカバレッジが向上し、境界エラーが低減されており、特に複雑または視覚的に曖昧なオブジェクトにおいて顕著であった。