[論文レビュー] An Alternative to WSSS? An Empirical Study of the Segment Anything Model (SAM) on Weakly-Supervised Semantic Segmentation Problems

Weixuan Sun, Zheyuan Liu+3 more|arXiv (Cornell University)|May 2, 2023

Machine Learning and Data Classification被引用数 15

ひとこと要約

この論文は、Segment Anything Model (SAM) を弱教師付きセマンティックセグメンテーションの疑似ラベル生成器として用いることを調査し、従来の WSSS 手法と PASCAL VOC および MS-COCO で比較します。性能・限界・実務的含意を分析します。

ABSTRACT

The Segment Anything Model (SAM) has demonstrated exceptional performance and versatility, making it a promising tool for various related tasks. In this report, we explore the application of SAM in Weakly-Supervised Semantic Segmentation (WSSS). Particularly, we adapt SAM as the pseudo-label generation pipeline given only the image-level class labels. While we observed impressive results in most cases, we also identify certain limitations. Our study includes performance evaluations on PASCAL VOC and MS-COCO, where we achieved remarkable improvements over the latest state-of-the-art methods on both datasets. We anticipate that this report encourages further explorations of adopting SAM in WSSS, as well as wider real-world applications.

研究の動機と目的

• SAM がクラスラベルのみを使用して画像レベルの WSSS の疑似ラベル生成器として機能するかを検討する。
• SAM ベースの疑似ラベル品質を標準データセット上の最先端 WSSS 手法と比較する。
• セマンティックな不明瞭さや実用的展開の考慮を含む、WSSS における SAM の制限を特定する。
• 実世界の設定で SAM 主導の WSSS パイプラインが有利となる場合の指針を提供する。

提案手法

• Grounded-DINO を用いて画像レベルのクラスラベルをテキストプロンプト経由で grounded バウンディングボックスへ変換する。
• grounded ボックスを SAM (ViT-H) に投入しインスタンスセグメンテーションマスクを取得する。
• SAM マスクを組み合わせてトレーニング用のセマンティックセグメンテーション疑似ラベルを生成する。
• PASCAL VOC と MS-COCO で DeepLab-v2 (ResNet-101) による疑似ラベル品質と下流セグメンテーションを評価する。
• SAM ベースの疑似ラベルと最終セグメンテーションを、以前の WSSS 手法の範囲および完全監視と比較する。
• 計算コストやデータ-真値アライメントといった実用的考慮事項を議論する。

Figure 1: SAM generated pseudo-labels compared to the ground-truth in PASCAL VOC. In most cases, SAM performs closely to the human annotations.

実験結果

リサーチクエスチョン

• RQ1 SAM がテキスト-grounded プ prompts に guided されて、ファインチューニングなしで WSSS の高品質な疑似ラベルを生成できるか？
• RQ2 SAM ベースの疑似ラベル化は PASCAL VOC および MS-COCO で最先端の WSSS 手法とどう比較されるか？
• RQ3 WSSS における SAM の実務的制限（例：セマンティックの obscurity、リソース要件）は何か？
• RQ4 SAM アプローチは標準ベンチマークで完全監視セグメンテーションの性能に近づくことができるか？

主な発見

手法	会場	顕著性つき	検証用（Val）	テスト
NSRM	CVPR2021	✓	70.4	70.2
InferCam	WACV2022	✓	70.8	71.8
EDAM	CVPR2021	✓	70.9	70.6
EPS	CVPR2021	✓	71.0	71.8
DRS	AAAI2021	✓	71.2	71.4
L2G	CVPR2022	✓	72.1	71.7
Du et al.	CVPR2022	✓	72.6	73.6
PSA	CVPR2018	–	61.7	63.7
SEAM	CVPR2020	–	64.5	65.7
CDA	ICCV2021	–	66.1	66.8
ECS-Net	ICCV2021	–	66.6	67.6
Du et al.	CVPR2022	–	67.7	67.4
CPN	ICCV2021	–	67.8	68.5
AdvCAM	CVPR2021	–	68.1	68.0
Kweon et al.	ICCV2021	–	68.4	68.2
ReCAM	CVPR2022	–	68.5	68.4
SIPE	CVPR2022	–	68.8	69.7
URN	AAAI2022	–	69.5	69.7
ESOL	NeurIPS2022	–	69.9	69.3
PMM	ICCV2021	–	70.0	70.5
VWL-L	IJCV2022	–	70.6	70.7
Lee et al.	CVPR2022	–	70.7	70.1
MCTformer	CVPR2022	–	71.9	71.6
OCR	CVPR2023	–	72.7	72.0
CLIP-ES	CVPR2023	–	73.8	73.9
SAM	–	–	77.2	77.1
full-supervision	–	–	77.7	79.7

• SAM 疑似ラベルは PASCAL VOC train で 88.3 mIoU を達成し、従来の WSSS 手法を 13.3 mIoU 上回る。
• SAM ベースの最終セグメンテーションは PASCAL VOC の val で 77.2 mIoU、test で 77.1 mIoU を達成し、従来の SOTA 手法を上回る。
• MS-COCO では SAM は 疑似ラベル mIoU 66.8、最終セグメンテーション 55.6 mIoU を達成し、既存の WSSS 手法を大幅に上回る。
• ファインチューニングなしでも SAM は競争力のある性能を示し、基盤モデルベースの WSSS 代替としての可能性を示唆する。
• 本研究はセマンティック obscurity を限界として指摘しており、SAM の粒度が人間の注釈と異なる可能性があることから階層的プロンプトを将来の課題として提案する。
• SAM は大規模な、潜在的には完全にラベル付きデータで訓練されているため WSSS への厳密な公正比較とはいえないが、実用的で合理的な WSSS 代替案を提供する。

Figure 2: We observe that in some cases SAM performs better than the human annotated ground-truth. Notably, SAM is able to capture crisp boundaries, more detailed structures and finer-grained semantic classes.