[論文レビュー] On the Robustness of Segment Anything

Yihao Huang, Yue Cao+6 more|arXiv (Cornell University)|May 25, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、SA-1BおよびKITTIデータセットを用いて新たに構築されたベンチマークを用い、敵対的攻撃および一般的な劣化条件下におけるSegment Anything Model (SAM) のテスト時耐性を評価している。強力な一般化性能を示す一方で、PGDおよびBIMの敵対的攻撃に対しては高い感受性を示し、他の劣化要因に対しては耐性を示すが、ぼんやりの関連する劣化を除いては、自動運転のような安全が求められる応用分野において顕著な脆弱性を示している。

ABSTRACT

Segment anything model (SAM) has presented impressive objectness identification capability with the idea of prompt learning and a new collected large-scale dataset. Given a prompt (e.g., points, bounding boxes, or masks) and an input image, SAM is able to generate valid segment masks for all objects indicated by the prompts, presenting high generalization across diverse scenarios and being a general method for zero-shot transfer to downstream vision tasks. Nevertheless, it remains unclear whether SAM may introduce errors in certain threatening scenarios. Clarifying this is of significant importance for applications that require robustness, such as autonomous vehicles. In this paper, we aim to study the testing-time robustness of SAM under adversarial scenarios and common corruptions. To this end, we first build a testing-time robustness evaluation benchmark for SAM by integrating existing public datasets. Second, we extend representative adversarial attacks against SAM and study the influence of different prompts on robustness. Third, we study the robustness of SAM under diverse corruption types by evaluating SAM on corrupted datasets with different prompts. With experiments conducted on SA-1B and KITTI datasets, we find that SAM exhibits remarkable robustness against various corruptions, except for blur-related corruption. Furthermore, SAM remains susceptible to adversarial attacks, particularly when subjected to PGD and BIM attacks. We think such a comprehensive study could highlight the importance of the robustness issues of SAM and trigger a series of new tasks for SAM as well as downstream vision tasks.

研究の動機と目的

• テスト時におけるSegment Anything Model (SAM) の敵対的シナリオおよび一般的な劣化要因に対する耐性を調査すること。
• 公的データセット（SA-1BおよびKITTI）を統合した包括的な評価ベンチマークを確立し、耐性テストに用いること。
• 異なるプロンプトタイプ（ポイント、バウンディングボックス、マスク）が、劣化および敵対的条件下でのSAMの耐性に与える影響を分析すること。
• 特に自動運転の文脈において、分布外（OOD）設定下での小規模および大規模オブジェクトにおけるSAMの性能を別々に評価すること。
• 分類ベースの手法を超えて、より現実的な評価が可能な、セグメンテーション固有の敵対的攻撃（例：SegPGD）を拡張すること。

提案手法

• SA-1BおよびKITTIデータセットを統合して、イン・ディストリビューション（IID）およびアウト・オブ・ディストリビューション（OOD）評価を想定したテスト時耐性評価ベンチマークを構築した。
• セグメンテーションタスクに特化した敵対的攻撃手法（FGSM、PGD、BIM、SegPGD）を拡張し、人為的に設計された摂動下での耐性を評価した。
• ImageNet-CおよびKITTI-Cデータセットを用い、15種類の一般的な劣化（例：ガウスノイズ、ぼんやり、霧、雪）を5段階の深刻度で評価し、SAMの性能を検証した。
• KITTIにおけるオブジェクトサイズ（小規模 vs. 大規模）のアブレーションスタディを実施し、オブジェクトスケールに起因する耐性の差を分析した。
• 前景および背景のセグメンテーションマスクの両方に対して、平均交差率（mIoU）を主評価指標として用いた。
• 窓、人物、車両などの多様なオブジェクトカテゴリを対象に、敵対的および劣化した結果の可視化を行い、失敗モードを定性的に評価した。

実験結果

リサーチクエスチョン

• RQ1 SAMはどのような一般的な劣化条件下で性能を示し、どの劣化タイプがセグメンテーション精度を最も著しく低下させるか？
• RQ2 インスタンスセグメンテーションの文脈において、SAMはPGDおよびBIM攻撃に対してどの程度感受性を示すか？
• RQ3 プロンプトタイプ（例：ポイント、バウンディングボックス、マスク）は、敵対的および劣化状態下でのSAMの耐性にどのように影響するか？
• RQ4 自動運転のような現実世界の分布外シナリオ（例：KITTI）において、小規模および大規模オブジェクトにおけるSAMの耐性に顕著な差が生じるか？
• RQ5 セグメンテーション固有の敵対的攻撃（例：SegPGD）は、分類ベースの攻撃に比べて、SAMにより深刻な失敗を引き起こすか？

主な発見

• SAMはガウスノイズ、ショットノイズ、インパulseノイズ、霧、雪、明るさ/コントラストの変化など、大多数の一般的な劣化に対して顕著な耐性を示し、クリーンおよび中程度の劣化入力においてmIoUが0.99を超える。
• ぼんやり関連の劣化（特にデフォーカスブラー、ガラスの曇り、ズームブラー）は、SAMの性能を顕著に低下させ、深刻度レベル5では前景mIoUが0.3未満に低下する。
• SAMはPGDおよびBIMの敵対的攻撃に対して非常に感受性を示し、KITTIの小規模オブジェクトにおいてPGD攻撃下で前景mIoUが最低0.2626にまで低下する。
• SegPGD攻撃はマスクの収縮を引き起こす一方、PGDおよびBIM攻撃は過剰セグメンテーションを引き起こし、元のオブジェクト境界をはみ出すことが多かった。
• KITTIの小規模オブジェクトにおいて、敵対的攻撃（PGD、BIM、SegPGD）は顕著な性能低下を引き起こし、深刻度レベル5で前景mIoUが0.3未満に低下する。
• 多くの劣化要因に対して耐性を示す一方で、ぼんやりおよび敵対的攻撃による劣化は、自動運転のような安全が求められる応用分野における重要な脆弱性を示している。