[논문 리뷰] Robustness of SAM: Segment Anything Under Corruptions and Beyond

Yu Qiao, Chaoning Zhang외 4명|arXiv (Cornell University)|2023. 06. 13.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 다양한 손상, 가림, 그리고 적대적 공격 하에서 Segment Anything Model(SAM)의 강건성에 대한 최초의 종합적 평가를 제공한다. SAM은 대부분의 일반적인 손상과 중간 수준의 가림에 강건하지만, 국소적 적대적 패치 공격과 전역적 인식 불가능한 적대적 공격에 매우 취약함을 발견하였다. 특히 PGD 기반의 변형에서 그러한 취약성이 두드러진다.

ABSTRACT

Segment anything model (SAM), as the name suggests, is claimed to be capable of cutting out any object and demonstrates impressive zero-shot transfer performance with the guidance of prompts. However, there is currently a lack of comprehensive evaluation regarding its robustness under various corruptions. Understanding the robustness of SAM across different corruption scenarios is crucial for its real-world deployment. Prior works show that SAM is biased towards texture (style) rather than shape, motivated by which we start by investigating its robustness against style transfer, which is synthetic corruption. Following by interpreting the effects of synthetic corruption as style changes, we proceed to conduct a comprehensive evaluation for its robustness against 15 types of common corruption. These corruptions mainly fall into categories such as digital, noise, weather, and blur, and within each corruption category, we explore 5 severity levels to simulate real-world corruption scenarios. Beyond the corruptions, we further assess the robustness of SAM against local occlusion and local adversarial patch attacks. To the best of our knowledge, our work is the first of its kind to evaluate the robustness of SAM under style change, local occlusion, and local adversarial patch attacks. Given that patch attacks visible to human eyes are easily detectable, we further assess its robustness against global adversarial attacks that are imperceptible to human eyes. Overall, this work provides a comprehensive empirical study of the robustness of SAM, evaluating its performance under various corruptions and extending the assessment to critical aspects such as local occlusion, local adversarial patch attacks, and global adversarial attacks. These evaluations yield valuable insights into the practical applicability and effectiveness of SAM in addressing real-world challenges.

연구 동기 및 목표

• 다양한 실제 세계 및 합성 손상 하에서 Segment Anything Model(SAM)의 강건성 평가.
• 실제 배포 과제와 관련된 국소적 가림과 국소적 적대적 패치 공격 하에서 SAM의 성능 조사.
• 특히 점 프롬프트와 상자 프롬프트 하에서, 인식 불가능한 변형을 가진 전역적 적대적 공격에 대한 SAM의 취약성 평가.
• 합성 손상의 대체로 사용되는 스타일 전이의 영향과 SAM의 제로샷 세그멘테이션 성능에 미치는 영향 이해.
• 실제 시각 응용 분야에서 SAM의 실용적 한계와 강점을 경험적으로 파악하기 위함.

제안 방법

• 표준 벤치마킹 프로토콜을 사용하여 디지털, 노이즈, 날씨, 블러 유형의 15종의 일반적인 손상에 대해 5단계의 심각도 수준에서 SAM의 강건성 평가.
• 내용 이미지당 5종의 다른 스타일 이미지를 사용하여 텍스처 대 비율의 민감도 평가를 위해 스타일 전이를 합성 손상으로 활용.
• 부분적인 이미지 마스킹에 대한 저항성을 테스트하기 위해 다양한 가림 비율(최대 80%)로 국소적 가림 실험 수행.
• 시각적으로 명백한 국소적 변형에 대한 강건성 평가를 위해 이미지 무관 적대적 패치 공격 적용.
• 다양한 변형 크기(δ = 0.1에서 8.0까지)를 가진 FGSM 및 PGD를 사용하여 전역적 적대적 공격을 수행하여 인식 불가능한 공격에 대한 강건성 테스트.
• 모든 공격 및 손상 시나리오에서 mIoU, 정밀도, 재현율, F1 점수를 평가 지표로 사용하며, 정성적 분석을 위한 시각화도 수행.

실험 결과

연구 질문

• RQ1 SAM은 합성 스타일 전이 손상 하에서 어떻게 성능을 내며, 내용은 유지되나 스타일만 변경된 경우에도 강건성을 유지하는가?
• RQ2 SAM은 노이즈, 블러, 날씨 효과 등 실제 세계의 일반적인 손상에 대해 다수의 심각도 수준에서 얼마나 강건한가?
• RQ3 SAM은 국소적 가림에 얼마나 강건한가? 성능이 급격히 떨어지는 가림 비율은 어느 정도인가?
• RQ4 국소적 적대적 패치 공격은 SAM의 세그멘테이션 성능을 얼마나 효과적으로 떨어뜨리는가? 패치 크기와 위치는 결과에 어떤 영향을 미치는가?
• RQ5 SAM은 전역적, 인식 불가능한 적대적 공격(FGSM 및 PGD)에 얼마나 취약한가? 공격 강도(δ)는 성능 저하와 상관관계가 있는가?

주요 결과

• SAM은 노이즈, 블러, 날씨 효과 등 대부분의 일반적인 손상에 대해 중간 수준의 강건성을 보이며, 특히 줌 블러 하에서 성능 저하가 심각하게 나타남.
• 국소적 가림에 대해 최대 60%까지는 합리적인 성능 유지를 보이나, 80% 가림 비율에 도달하면 성능이 급격히 떨어짐.
• 국소적 적대적 패치 공격은 SAM의 세그멘테이션 성능을 효과적으로 떨어뜨리며, 패치 크기나 위치가 공격 성공에 상대적으로 영향을 적게 미침.
• SAM은 전역적 적대적 공격에 매우 취약함: δ ≥ 3.0 인 PGD-20 공격 하에서 mIoU 점수는 거의 0에 수렴하고, 유사 조건에서 F1 점수는 0.3 이하로 떨어짐.
• PGD 공격는 FGSM보다 항상 SAM의 성능 저하에 더 효과적이며, 반복적 공격이 단일 단계 공격보다 더 효과적임을 시사함.
• 상자 기반 프롬프트를 사용하더라도 SAM은 여전히 전역적 적대적 공격에 취약함을 확인하여, 프롬프트 유형이 이러한 위협에 대한 강건성을 크게 향상시키지 못함을 시사함.