[論文レビュー] When SAM Meets Shadow Detection

Leiping Jie, Hui Zhang|arXiv (Cornell University)|May 19, 2023

Advanced Image and Video Retrieval Techniques被引用数 8

ひとこと要約

この論文はSegment Anything Model (SAM) を影検出の4つのベンチマークで検証し、SAM が専門モデルと比べて性能が劣り、しばしば多数の微小マスクを生成することを発見します。マスクの分布を分析し、2つのマスク選択戦略を評価します。

ABSTRACT

As a promptable generic object segmentation model, segment anything model (SAM) has recently attracted significant attention, and also demonstrates its powerful performance. Nevertheless, it still meets its Waterloo when encountering several tasks, e.g., medical image segmentation, camouflaged object detection, etc. In this report, we try SAM on an unexplored popular task: shadow detection. Specifically, four benchmarks were chosen and evaluated with widely used metrics. The experimental results show that the performance for shadow detection using SAM is not satisfactory, especially when comparing with the elaborate models. Code is available at https://github.com/LeipingJie/SAMSh.

研究の動機と目的

• SAM の影検出一般化を複数ベンチマークで評価する。
• BER を主要指標として、SAM と最先端の影検出器を定量的に比較する。
• SAM が生成するマスクの分布を特徴づけ、マスク選択戦略を検討する。
• SAM を影関連タスクへ適応させるための示唆を提供する。

提案手法

• 影検出の4ベンチマーク（SBU、UCF、ISTD、CUHK）を用い、テスト分割に焦点を当てる。
• 主要指標として Balance Error Rate (BER) を用いて評価する。
• PROMPT なし設定で SAM によって各画像に複数のマスクを生成する。
• 2つのマスク選択戦略を比較する：Max F-measure と Max IoU。
• SAM の出力と失敗事例の定性的な可視化を提供する。
• 予測マスクの数とサイズの分布を議論する。

実験結果

リサーチクエスチョン

• RQ1 SAM は共通ベンチマークで専門モデルと比べて影検出でどのように性能を発揮するか。
• RQ2 異なるマスク選択戦略が SAM の影検出性能に与える影響は何か。
• RQ3 SAM が生成するマスクの特徴（例：カウント、サイズ分布）は影タスクの性能にどのように影響するか。
• RQ4 ゼロショット利用を超えた影検出に対して、SAM を効果的に適応・誘導することはできるか。

主な発見

• SAM の影検出性能は最先端手法と比べて著しく劣る（BER はいくつかのデータセットで約25程度、他は約3程度）。
• SAM は多くの小さなセグメンテーションマスクを生成する傾向があり、画像ごとにカウントが広く分布する（0 から約500）。
• このタスクでは Max F-measure によるマスク選択が一般に Max IoU より優れている。
• SAM は複雑な影や雑然とした背景の影に苦戦しており、影検出へのゼロショット一般化に限界があることを示唆している。
• 定性的な結果はシンプルな背景のケースで成功する一方、難しいシーンでは頻繁に失敗する。