[論文レビュー] Robustness of SAM: Segment Anything Under Corruptions and Beyond

Yu Qiao, Chaoning Zhang+4 more|arXiv (Cornell University)|Jun 13, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文は、さまざまな汚損、遮蔽、および敵対的攻撃下におけるSegment Anything Model (SAM) の堅牢性について、初めて包括的な評価を提供する。SAMは一般的な汚損や中程度の遮蔽に対しては堅牢であるが、局所的敵対的パッチ攻撃およびグローバルな見えない敵対的攻撃に対しては非常に脆弱であることが判明した。特にPGDベースの摂動に対して顕著である。

ABSTRACT

Segment anything model (SAM), as the name suggests, is claimed to be capable of cutting out any object and demonstrates impressive zero-shot transfer performance with the guidance of prompts. However, there is currently a lack of comprehensive evaluation regarding its robustness under various corruptions. Understanding the robustness of SAM across different corruption scenarios is crucial for its real-world deployment. Prior works show that SAM is biased towards texture (style) rather than shape, motivated by which we start by investigating its robustness against style transfer, which is synthetic corruption. Following by interpreting the effects of synthetic corruption as style changes, we proceed to conduct a comprehensive evaluation for its robustness against 15 types of common corruption. These corruptions mainly fall into categories such as digital, noise, weather, and blur, and within each corruption category, we explore 5 severity levels to simulate real-world corruption scenarios. Beyond the corruptions, we further assess the robustness of SAM against local occlusion and local adversarial patch attacks. To the best of our knowledge, our work is the first of its kind to evaluate the robustness of SAM under style change, local occlusion, and local adversarial patch attacks. Given that patch attacks visible to human eyes are easily detectable, we further assess its robustness against global adversarial attacks that are imperceptible to human eyes. Overall, this work provides a comprehensive empirical study of the robustness of SAM, evaluating its performance under various corruptions and extending the assessment to critical aspects such as local occlusion, local adversarial patch attacks, and global adversarial attacks. These evaluations yield valuable insights into the practical applicability and effectiveness of SAM in addressing real-world challenges.

研究の動機と目的

• さまざまな現実世界および合成汚損下におけるSegment Anything Model (SAM) の堅牢性を評価すること。
• 現実世界の展開に向けた課題に関連する、局所的遮蔽および局所的敵対的パッチ攻撃下でのSAMの性能を調査すること。
• 特にポイントおよびボックスプロンプトを用いた状況下で、目に見えない摂動を伴うグローバルな敵対的攻撃に対するSAMの脆弱性を評価すること。
• スタイル変換を合成汚損の代理として用い、SAMのゼロショットセグメンテーション性能に与える影響を理解すること。
• 実世界のビジョン応用におけるSAMの実用的限界と強みについて、経験的知見を提供すること。

提案手法

• 標準的なベンチマークプロトコルに従い、15種類の一般的な汚損（デジタル、ノイズ、天候、ぼかし）を5段階の深刻度で評価し、SAMの堅牢性を検証した。
• テクスチャと形状の感受性を評価するため、コンテンツ画像1枚あたり5種類のスタイル画像を用いてスタイル変換を合成汚損として用いた。
• 部分的な画像マスキングに対する耐性をテストするため、最大80％までの変動する遮蔽率を用いた局所的遮蔽実験を実施した。
• 目に見える局所的摂動を伴う、画像に依存しない局所的敵対的パッチ攻撃を適用し、可視な局所的摂動下での堅牢性を評価した。
• 摂動の大きさ（δ：0.1から8.0まで変化）を変化させながら、FGSMおよびPGDを用いたグローバルな敵対的攻撃を実施し、目に見えない攻撃に対する堅牢性をテストした。
• すべての攻撃および汚損シナリオにおいてmIoU、精度、再現率、F1スコアを評価指標として用い、定性的分析のための可視化も実施した。

実験結果

リサーチクエスチョン

• RQ1 SAMは合成スタイル変換による汚損下でどのように動作するか。また、画像の内容が形状は保持されながらスタイルが変化した場合でも、堅牢性を維持できるか？
• RQ2 ノイズ、ぼかし、天候効果などの現実世界の一般的な汚損に対して、複数の深刻度レベルでSAMはどの程度堅牢か？
• RQ3 SAMは局所的遮蔽に対してどの程度耐性を示すか。性能が著しく低下する遮蔽率はどの程度か？
• RQ4 局所的敵対的パッチ攻撃は、SAMのセグメンテーション性能をどの程度効果的に低下させるか。また、パッチのサイズや位置が結果に与える影響はどの程度か？
• RQ5 グローバルで目に見えない敵対的攻撃（FGSMおよびPGD）に対してSAMはどの程度脆弱か。攻撃強度（δ）と性能低下の間には相関があるか？

主な発見

• SAMはノイズ、ぼかし、天候効果などの一般的な汚損に対しては中程度の堅牢性を示すが、ズームぼかし下では顕著な性能低下を示す。
• 局所的遮蔽に対しては60％までの遮蔽率で妥当な性能を維持するが、80％の遮蔽率で性能が急激に低下する。
• 局所的敵対的パッチ攻撃は、SAMのセグメンテーション性能を効果的に低下させる。パッチのサイズや位置が攻撃成功に与える影響は相対的に小さいことが示された。
• SAMはグローバルな敵対的攻撃に対して非常に脆弱である：δ ≥ 3.0 のPGD-20攻撃下ではmIoUスコアがほぼゼロに低下し、同様の条件下でF1スコアは0.3未満に低下する。
• PGD攻撃はFGSMに比べて常にSAMの性能をより効果的に低下させることが示され、反復的攻撃が1ステップ攻撃よりも効果的であることがわかった。
• ボックスプロンプトを用いても、SAMはグローバルな敵対的攻撃に対して依然として脆弱であるため、プロンプトの種別はこのような脅威に対する堅牢性を顕著に向上させないことが示された。