[論文レビュー] ISIM: Iterative Self-Improved Model for Weakly Supervised Segmentation

Cenk Bircanoğlu, Nafiz Arıca|arXiv (Cornell University)|Nov 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、画像レベルのアノテーションのみを用いて弱教師ありセマンティックセグメンテーションを実現する反復的自己向上型エンコーダデコーダモデルISIMを提案する。このモデルは、密度付き条件付きランダムフィールド（dCRF）を用いて生成された疑似セグメンテーションラベルを用いて、クラスアクティベーションマップ（CAMs）を向上させる。分類とセグメンテーションを組み合わせた修正された交差エントロピー損失を用いて最適化することで、ISIMはPascal VOC 2012で最先端の性能を達成し、従来手法と比較してmIoUを2.5%向上させた。

ABSTRACT

Weakly Supervised Semantic Segmentation (WSSS) is a challenging task aiming to learn the segmentation labels from class-level labels. In the literature, exploiting the information obtained from Class Activation Maps (CAMs) is widely used for WSSS studies. However, as CAMs are obtained from a classification network, they are interested in the most discriminative parts of the objects, producing non-complete prior information for segmentation tasks. In this study, to obtain more coherent CAMs with segmentation labels, we propose a framework that employs an iterative approach in a modified encoder-decoder-based segmentation model, which simultaneously supports classification and segmentation tasks. As no ground-truth segmentation labels are given, the same model also generates the pseudo-segmentation labels with the help of dense Conditional Random Fields (dCRF). As a result, the proposed framework becomes an iterative self-improved model. The experiments performed with DeepLabv3 and UNet models show a significant gain on the Pascal VOC12 dataset, and the DeepLabv3 application increases the current state-of-the-art metric by %2.5. The implementation associated with the experiments can be found: https://github.com/cenkbircanoglu/isim.

研究の動機と目的

• 弱教師ありセマンティックセグメンテーション（WSSS）における監督ギャップを解消すること、特にクラスレベルのラベルが空間的詳細を欠いている点に焦点を当てる。
• 画像の隠れたコンテンツを活用することで、正解セグメンテーションと整合性のとれたクラスアクティベーションマップ（CAMs）の整合性を向上させること。
• ピクセルレベルのアノテーションを一切必要とせず、疑似セグメンテーションラベルとCAMsを交互に改善する反復的かつ自己向上型フレームワークを構築すること。
• 単一のエンコーダデコーダアーキテクチャを用いて、画像レベルの監視のみでPascal VOC 2012で最先端の性能を達成すること。

提案手法

• 本フレームワークは、画像レベルラベルのみを用いて分類とセグメンテーションを同時に最適化する修正されたエンコーダデコーダセグメンテーションモデルを採用する。
• 密度付き条件付きランダムフィールド（dCRF）を用いてCAMsから疑似セグメンテーションマスクを生成し、オブジェクト領域の局在化と完全性を向上させる。
• トレーニング中にピクセル単位の損失を適用することで、CAMsを疑似セグメンテーションラベルに一致させるように正確に伝搬させる。
• バックプロパゲーションを用いたエンドツーエンドのトレーニングにより、CAMsとセグメンテーション予測を反復的に向上させる。
• 分類ヘッドとセグメンテーションヘッドの間で特徴を共有することで、1つのネットワーク内でマルチタスク学習を実現する。
• 本手法は汎用的であり、ResNet、ResNeSt、DeepLabv2/v3などのさまざまなバックボーンアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 疑似セグメンテーションラベルの反復的精錬は、弱教師ありセマンティックセグメンテーションにおけるクラスアクティベーションマップ（CAMs）の品質を向上させ得るか？
• RQ2 正解マスクが存在しない状況で、密度付きCRFに基づく後処理はCAMベースのセグメンテーションをどの程度効果的に向上させ得るか？
• RQ3 自己向上型マルチタスク学習フレームワークは、完全に教師ありと弱教師ありのセグメンテーション性能のギャップをどの程度埋められるか？
• RQ4 提案された反復的トレーニング方式は、画像レベルのアノテーションのみを用いて、Pascal VOC 2012で既存のSOTA手法を上回る性能を達成できるか？

主な発見

• ISIMフレームワークは、ResNeSt-200バックボーンを用いたDeepLabv3を用いて、Pascal VOC 2012のテストスプリットで72.94%の平均交差率（mIoU）を達成した。
• ResNet-101をバックボーンとして用いた場合、ISIMはテストセットで70.38%のmIoUを達成し、追加のサリエンシーマップデータを用いる従来のSOTA手法を上回った。
• 同じバックボーン（ResNet-101）と画像レベルの監視のみを用いた場合、本手法は従来のアプローチよりもmIoUを2.5%向上させ、SOTAを更新した。
• アブレーションスタディの結果、dCRFを用いた反復的精錬とピクセル単位の損失が、CAMの品質とセグメンテーション精度を顕著に向上させたことが確認された。
• 追加データやサリエンシーマップを一切使用しない状況でも、本手法は同様の設定下でEPS や SPML よりも優れた性能を発揮した。
• 提案手法は、ResNet-50、ResNet-101、ResNeSt-200を含むさまざまなバックボーンアーキテクチャに一般化可能であり、効果的であることが示された。