[論文レビュー] Can SAM Segment Anything? When SAM Meets Camouflaged Object Detection

Lv Tang, Haoke Xiao+1 more|arXiv (Cornell University)|Apr 10, 2023

Visual Attention and Saliency Detection被引用数 43

ひとこと要約

この技術レポートは Meta の SAM をカモフラージュ対象検出（COD）ベンチマークで評価し、 SAM の分割と局在性能が最先端の COD 手法に遅れをとっていることを示し、改善の余地のある領域を提案します。

ABSTRACT

SAM is a segmentation model recently released by Meta AI Research and has been gaining attention quickly due to its impressive performance in generic object segmentation. However, its ability to generalize to specific scenes such as camouflaged scenes is still unknown. Camouflaged object detection (COD) involves identifying objects that are seamlessly integrated into their surroundings and has numerous practical applications in fields such as medicine, art, and agriculture. In this study, we try to ask if SAM can address the COD task and evaluate the performance of SAM on the COD benchmark by employing maximum segmentation evaluation and camouflage location evaluation. We also compare SAM's performance with 22 state-of-the-art COD methods. Our results indicate that while SAM shows promise in generic object segmentation, its performance on the COD task is limited. This presents an opportunity for further research to explore how to build a stronger SAM that may address the COD task. The results of this paper are provided in \url{https://github.com/luckybird1994/SAMCOD}.

研究の動機と目的

• SAM がカモフラージュ対象を効果的にセグメンテーションできるかを評価する。
• 画像中でカモフラージュ対象を検出・局在できる能力を評価する。
• 標準的な COD ベンチマーク（CAMO、COD10K、NC4K）で SAM を 22 の最先端 COD 手法と比較する。
• カモフラージュ課題のための SAM や COD に特化したファウンデーションモデルを改善する方向性について洞察を提供する。

提案手法

• 各画像について複数のバイナリマップを生成するために SAM を使用する（プロンプタブルセグメンテーション）。
• 各画像について F-measure が最も高いバイナリマップを SAM の予測として採用することで最大セグメンテーション評価を適用する。
• データセット全体にわたって F-beta 閾値を超える SAM マップの分布を計算し、カモフラージュの位置推定を評価する。
• 6 指標を用いて評価する：S_alpha, E_phi, F_beta, F_w_beta, F_beta^max, MAE。
• CAMO-Test、COD10K-Test、および NC4K データセットで SAM を 22 の COD 手法と比較する。

Figure 1: Some bad cases of SAM.

実験結果

リサーチクエスチョン

• RQ1 SAM は COD ベンチマーク全体でカモフラージュ対象を正確にセグメンテーションできるか？
• RQ2 SAM は COD ベンチマーク全体でカモフラージュ対象を正確に局在できるか？
• RQ3 標準データセット（CAMO、COD10K、NC4K）で SAM は主要な COD 手法とどのように比較されるか？
• RQ4 COD タスクへの foundation モデルの適用に向けて、どの改善や方向性が生じるか？

主な発見

• SAM は各画像ごとに複数のバイナリマップを生成できるが、多くのマップはカモフラージュ対象を捕捉できない。
• 最大セグメンテーション評価の下で、3 つのベンチマークにおいても SAM の COD パフォーマンスは最新の COD 手法を下回る。
• 一般的な位置推定評価では、SAM のカモフラージュ対象を局在する能力は限られており、閾値設定によって僅かに改善する程度。
• 22 の COD 手法と比較すると、CAMO-Test、COD10K-Test、NC4K で SAM は標準の COD 指標において顕著なギャップを示すが、2021 年頃の手法の中には競合するものもある。
• 著者は SAM の COD パフォーマンスが COD 専用タスクには不十分であると指摘し、カモフラージュ検出のための SAM を強化するデータセット・アーキテクチャの適応を訴えている。

Figure 2: The location ability of the SAM.