[論文レビュー] SAM Struggles in Concealed Scenes -- Empirical Study on Segment Anything

Ge-Peng Ji, Deng-Ping Fan+4 more|arXiv (Cornell University)|Apr 12, 2023

Visual Attention and Saliency Detection参考文献 22被引用数 5

ひとこと要約

本論文は、 camouflage 動物、産業欠陏、医療病変といった隠れた状況において、Segment Anything Model (SAM) の実証的評価を実施し、最先端モデルと比較して顕著な性能差を明らかにした。自然画像における強力な一般化性能にもかかわらず、SAM は微細な意味的手がかりの認識が限定的で、ドメイン特有のインダクティブバイアスが欠如しているため、低コントラストで視覚的に隠された状況における意味理解に苦慮している。

ABSTRACT

Segmenting anything is a ground-breaking step toward artificial general intelligence, and the Segment Anything Model (SAM) greatly fosters the foundation models for computer vision. We could not be more excited to probe the performance traits of SAM. In particular, exploring situations in which SAM does not perform well is interesting. In this report, we choose three concealed scenes, i.e., camouflaged animals, industrial defects, and medical lesions, to evaluate SAM under unprompted settings. Our main observation is that SAM looks unskilled in concealed scenes.

研究の動機と目的

• 隠れた状況理解タスクにおける Segment Anything Model (SAM) の性能制限を調査すること。
• CAMO、COD10K、NC4K における CAMO ベンチマークで、SAM のゼロショット一般化能力を評価すること。
• camouflage 動物、産業欠陋、医療病変の3つの隠れたシナリオにおける失敗事例を同定すること。
• プロンプトなし設定下で、SAM のセグメンテーション性能を最先端の COS モデルと定量的に比較すること。
• SAM の認識ボトル neck を解明し、低コントラストで意味的に曖昧な環境における基礎モデルの改善方向を示唆すること。

提案手法

• 著者らは、予測マスクと正解マスクの間の交差率（IoU）に基づくマスク選択戦略を用い、複数の SAM 出力から最良の出力を選択した。
• 定量的評価は、CAMO、COD10K、NC4K の3つの標準的な camouflage object segmentation ベンチマークで実施した。
• 5つの標準指標を用いた：構造的尺度（$S_\alpha$）、強化整合性尺度（$E_\phi$）、F-スコア（$F_\beta$）、重み付き F-スコア（$F_\beta^w$）、平均絶対誤差（$M$）。
• 評価はプロンプトなし設定で実施され、SAM が複数のマスクを生成し、最も高い IoU を示すマスクが比較対象として選ばれた。
• Qualitative 分析は、SAM のオンラインデモを用いて、3つの隠れたシナリオにおける失敗事例の可視化を通じて実施した。
• 一貫したバックボーンおよびトレーニングプロトコルを用いて、SAM（ViT-B、ViT-L、ViT-H）と最先端の COS モデル（CamoFormer-P/S、HitNet）を比較した。

Figure 1: SAM [ 1 ] fails to perceive the animals that are visually “hidden” in their natural surroundings. All the samples are from COD10K dataset [ 5 ] .

実験結果

リサーチクエスチョン

• RQ1 SAM は最先端モデルと比較して、camouflage object segmentation ベンチマークでどのように性能を発揮するか？
• RQ2 なぜ SAM は camouflage 動物、産業欠陋、医療病変のような隠れたオブジェクトを正しくセグメンテーションできないのか？
• RQ3 低コントラストで意味的に曖昧なシーンにおける SAM の主な失敗パターンは何か？
• RQ4 SAM のモデルスケールを拡大すること（ViT-B から ViT-H に）が、隠れた状況での性能向上にどの程度寄与するか？
• RQ5 ドメイン特有のインダクティブバイアスや事前知識を組み込むことで、SAM の性能は向上するか？

主な発見

• CAMO における SAM の重み付き F-スコア（$F_\beta^w$）は、ViT-B では 0.353 にとどまり、ViT-H に拡大しても 0.700 にしか向上せず、最先端モデルと比べて顕著に低い。
• COD10K データセットでは、SAM（ViT-H）は CamoFormer-S よりも $E_\phi^{mx}$ で 13.8% 劣っており、強化整合性性能における顕著なギャップを示している。
• CAMO では、SAM（ViT-H）と CamoFormer-S の間で $E_\phi^{mx}$ のギャップが 25.6% に達しており、隠れた状況における一般化性能の低さが顕著に表れている。
• SAM は頻繁に、被掩蔽または camouflage されたオブジェクトを複数の非連結マスクに分割するため、曖昧領域における意味的整合性が弱いことが示唆された。
• 医療画像では、腫瘍や血管のような非形状の病変ですら、視覚的に明確に識別可能な場合でさえ、SAM は検出に失敗する。これは解剖学的・病理学的知識の欠如によるものである。
• ViT-H にスケーリングしても性能ギャップが解消されないため、データスケールだけでは、SAM の隠れた状況における認識限界を解消できないことが示唆された。

Figure 2: SAM [ 1 ] is unskilled in detecting concealed defects in industrial scenes. These samples are taken from KolektorSDD [ 17 ] , MagneticTile [ 18 ] , and MVTecAD [ 19 ] datasets.