[論文レビュー] Segment Anything Is Not Always Perfect: An Investigation of SAM on Different Real-world Applications

Wei Ji, Jingjing Li+4 more|arXiv (Cornell University)|Apr 12, 2023

Machine Learning and Data Classification被引用数 9

ひとこと要約

要約: この論文は SAM を自然画像、農業、製造、リモートセンシング、医療の各分野で系統的に評価し、一般的な場面では強い一般化を示す一方、複雑で低コントラストな医療・産業ドメインでは事前知識を多く要する顕著な制限があることを指摘します。

ABSTRACT

Recently, Meta AI Research approaches a general, promptable Segment Anything Model (SAM) pre-trained on an unprecedentedly large segmentation dataset (SA-1B). Without a doubt, the emergence of SAM will yield significant benefits for a wide array of practical image segmentation applications. In this study, we conduct a series of intriguing investigations into the performance of SAM across various applications, particularly in the fields of natural images, agriculture, manufacturing, remote sensing, and healthcare. We analyze and discuss the benefits and limitations of SAM, while also presenting an outlook on its future development in segmentation tasks. By doing so, we aim to give a comprehensive understanding of SAM's practical applications. This work is expected to provide insights that facilitate future research activities toward generic segmentation. Source code is publicly available.

研究の動機と目的

• SAM の多様な実世界セグメンテーションタスクに対する一般化を評価する。
• 自然画像、農業、製造、リモートセンシング、医療における SAM の長所と限界を特定する。
• ドメイン固有のシナリオへの適用に関する実用的洞察と方向性を提供する。

提案手法

• SAM in Everything モードおよび他のプロンプトモード（クリック/ボックス）を用いてデータセット全体でセグメンテーションを生成する。
• salient/オブジェクトセグメンテーション、カモフラージュ、透明度、影、農業/産業/リモートセンシング画像などのタスクに対する SAM 出力を定性的に分析する。
• MAE（mean absolute error）を評価指標として、8つのベンチマークでタスク固有の最先端モデルと定量的に比較する。
• 複数の予測マスクのうち地上真値との IoU で最良の SAM マスクを選択する。
• 良い結果を得る上でのプロンプトと事前知識の役割を論じる。

Figure 2 : Application on salient object segmentation , where SAM 1/2/3 mean using Click, Box, and Everything modes respectively.

実験結果

リサーチクエスチョン

• RQ1 SAM は一般的な自然画像にどれくらい汎用性を発揮するか、現実的で難しいシナリオに対してどうか。
• RQ2 詳細なセグメンテーション、低コントラスト、専門分野の知識（医療/産業）を要するタスクにおける SAM の制限は何か。
• RQ3 ドメイン間でプロンプトの選択と事前知識がどの程度 SAM の性能に影響を与えるか。
• RQ4 リモートセンシング、農業、医療への SAM の効果的な適応・補完は可能か。

主な発見

• SAM は一般的な場面で優れた一般化と高い局在化能力をプロンプトモードを問わず示す。
• 複雑な場面（例：作物セグメンテーション、眼底画像など）では大量の手動プロンプトと事前知識を要し、前景バイアスが観測される。
• 低コントラストまたはカモフラージュされた物体は SAM の頑健性を低下させ、難しい環境での改善余地がある。
• 医療・産業の専門データは、ボックスモードおよび自動モードの限界を示し、強いプロンプト下でも成功が一定でない。
• リモートセンシングと農業は規則的な物体を扱えるが、より小さいまたは不規則なターゲットには苦戦する。
• 全体的に、難易度の高い多くのタスクで SAM の性能は専門的な最先端モデルに遅れを取り、専門的または適用特化の適応の余地がある。

Figure 3 : Application on camouflaged object segmentation , where SAM 1/2/3 mean using Click, Box, and Everything modes respectively.