[論文レビュー] SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and More
SAM-Adapter は Segment Anything (SAM) のバックボーンを軽量なタスク特化アダプタで強化し、カモフラージュ、影、医用画像のような難しいシーンでセグメンテーション性能を向上させ、いくつかのデータセットで最先端の結果を達成します。
The emergence of large models, also known as foundation models, has brought significant advancements to AI research. One such model is Segment Anything (SAM), which is designed for image segmentation tasks. However, as with other foundation models, our experimental findings suggest that SAM may fail or perform poorly in certain segmentation tasks, such as shadow detection and camouflaged object detection (concealed object detection). This study first paves the way for applying the large pre-trained image segmentation model SAM to these downstream tasks, even in situations where SAM performs poorly. Rather than fine-tuning the SAM network, we propose extbf{SAM-Adapter}, which incorporates domain-specific information or visual prompts into the segmentation network by using simple yet effective adapters. By integrating task-specific knowledge with general knowledge learnt by the large model, SAM-Adapter can significantly elevate the performance of SAM in challenging tasks as shown in extensive experiments. We can even outperform task-specific network models and achieve state-of-the-art performance in the task we tested: camouflaged object detection, shadow detection. We also tested polyp segmentation (medical image segmentation) and achieves better results. We believe our work opens up opportunities for utilizing SAM in downstream tasks, with potential applications in various fields, including medical image processing, agriculture, remote sensing, and more.
研究の動機と目的
- SAM がパフォーマンスを発揮しにくい、カモフラージュ、影、医用画像といった難しいセグメンテーションタスクにおける SAM の性能を評価する。
- バックボーンを微調整せずに、軽量アダプタを介してタスク特化情報を SAM に注入する SAM-Adapter を提案する。
- カモフラージュ物体検出、影検出、およびポリプ分割データセット全体で性能の改善を実証する。
- SAM-Adapter がタスク特化モデルを上回り、競合的または最先端の結果を達成できることを示す。
提案手法
- SAM を凍結されたバックボーンとして使用(ViT-H/16)、マスクデコーダを初期化し、軽く微調整する。
- 二つの MLP ベースのモジュールからなる軽量アーキテクチャである SAM-Adapter を導入し、タスク特化のビジュアルプロンプトを生成する。
- タスク特化情報 F^i(例: 高周波成分とパッチ表現など)をアダプタへ組み込み、SAM 層用のプロンプト P^i を生成する。
- プロンプト P^i はトランスフォーマー層に付加され、SAM を下流タスクへ導く。
- ガイダンスのタイプを組み合わせるため、情報 F^i の柔軟な組成を F^i = sum_j w_j F_j として許容する。
- 標準的な損失関数(適切に BCE/IOU)と AdamW を用いて、データセット間で訓練する。
実験結果
リサーチクエスチョン
- RQ1軽量アダプタを追加したSAM は、カモフラージュ物体検出、影検出、ポリプ分割で競争力のある性能を達成できるか?
- RQ2アダプタの入力として有効なタスク特化情報(視覚的事前情報)はどのような形か?
- RQ3SAM-Adapter のプロンプトは、SAM バックボーンを微調整せずに、データセットやタスクを横断して一般化するか?
主な発見
- SAM は単独ではカモフラージュ物体検出および影検出で性能が劣る。
- SAM-Adapter は COD データセットで SAM の性能を大幅に向上させ、CAMO/COD10K/CHAMELEON のベースラインに対して Sα が約 +17.9% 向上。
- SAM-Adapter はカモフラージュ物体検出データセット(COD10K、CAMO、CHAMELEON)および影検出(ISTD)で、強力な指標と低 MAE で最先端に近い結果を達成。
- ポリプ分割(医療画像)では、SAM-Adapter が mDice および mIoU を SAM ベースラインより向上。
- 定量的な結果は、SAM-Adapter が複数のタスクで、いくつかのタスク特化手法およびオリジナルの SAM を上回ることを示している。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。