[논문 리뷰] Physical Adversarial Attacks For Camera-based Smart Systems: Current Trends, Categorization, Applications, Research Challenges, and Future Outlook

Amira Guesmi, Muhammad Abdullah Hanif외 2명|arXiv (Cornell University)|2023. 08. 11.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 카메라 기반 스마트 시스템을 대상으로 한 물리적 적대적 공격에 대한 종합적인 서베이를 제공하며, 응용 과제(예: 객체 검출, 얼굴 인식, 깊이 추정)별로 공격 방법을 분류하고, 실제 세계의 왜곡에 대한 효과성, 은밀성, 내성에 대해 분석한다. 물리적 공격 설계의 핵심 과제를 밝히며, 신뢰할 수 있는 AI를 안전 핵심 분야에서 확보하기 위해 표준화된 벤치마크와 강력한 방어 조치의 필요성을 촉구한다.

ABSTRACT

In this paper, we present a comprehensive survey of the current trends focusing specifically on physical adversarial attacks. We aim to provide a thorough understanding of the concept of physical adversarial attacks, analyzing their key characteristics and distinguishing features. Furthermore, we explore the specific requirements and challenges associated with executing attacks in the physical world. Our article delves into various physical adversarial attack methods, categorized according to their target tasks in different applications, including classification, detection, face recognition, semantic segmentation and depth estimation. We assess the performance of these attack methods in terms of their effectiveness, stealthiness, and robustness. We examine how each technique strives to ensure the successful manipulation of DNNs while mitigating the risk of detection and withstanding real-world distortions. Lastly, we discuss the current challenges and outline potential future research directions in the field of physical adversarial attacks. We highlight the need for enhanced defense mechanisms, the exploration of novel attack strategies, the evaluation of attacks in different application domains, and the establishment of standardized benchmarks and evaluation criteria for physical adversarial attacks. Through this comprehensive survey, we aim to provide a valuable resource for researchers, practitioners, and policymakers to gain a holistic understanding of physical adversarial attacks in computer vision and facilitate the development of robust and secure DNN-based systems.

연구 동기 및 목표

• 실세계 컴퓨터 비전 응용 분야에서 물리적 적대적 공격에 대한 체계적인 이해를 제공하기 위해.
• 분류, 검출, 세그멘테이션, 깊이 추정 등의 타겟 과제 기반으로 공격 방법을 분류하고 분석하기 위해.
• 물리적 적대적 공격에서 내성, 은밀성, 실세계 구현의 과제를 검토하기 위해.
• 연구 격차를 식별하고, 표준화된 벤치마크와 향상된 방어 기법을 포함한 향후 연구 방향을 제안하기 위해.
• 물리적 적대적 공격을 개발하고 평가하는 데 있어 윤리적 고려사항과 책임감 있는 연구 관행을 강조하기 위해.

제안 방법

• 다양한 컴퓨터 비전 과제에서 94개의 별도된 적대적 공격 방법을 분석한 190편 이상의 논문을 서베이하였다.
• 공격를 패치 기반, 스티커 기반, 카무플라주, 빛 조작, 영상 장치 조작 기법으로 분류하였다.
• 조명, 시점 변화, 운동 왜곡 등의 실제 세계의 왜곡에 대한 공격 성능을 효과성, 은밀성, 내성 기준으로 평가하였다.
• 최적화 과정에서 실제 세계의 변형을 시뮬레이션함으로써 물리적 공격의 내성을 향상시키기 위해 전환에 대한 기대값(Expectation Over Transformation, EOT) 기법을 적용하였다.
• 연속 프레임 간의 일관성을 유지하기 위해 영상 기반 공격의 시간적 일관성에 대해 분석하였다.
• 궤도 예측, 자세 추정, 동작 인식 등의 다양한 과제 간 공격의 이동성(transferability)을 조사하였다.

실험 결과

연구 질문

• RQ1 물리적 적대적 공격는 디지털 공격과 비교해 어떤 주요 특성과 차별적 특징을 가지는가?
• RQ2 조명 변화, 시점 변화, 운동 왜곡 등의 실제 세계의 왜곡 조건에서도 물리적 적대적 공격는 어떻게 효과성을 유지하는가?
• RQ3 다양한 응용 분야에서 물리적 공격의 은밀성과 인지 불가능성을 확보하기 위한 가장 효과적인 전략은 무엇인가?
• RQ4 궤도 예측 및 동작 인식과 같은 새로운 컴퓨터 비전 과제에서 물리적 적대적 공격는 어떻게 성능을 발휘하는가?
• RQ5 물리적 적대적 공격의 평가 및 벤치마킹에서 주요 과제는 무엇이며, 표준화된 기준을 어떻게 설정할 수 있는가?

주요 결과

• 물리적 적대적 공격는 다양한 조명 조건과 시점 변화 하에서도 인쇄된 적대적 예제가 DNN을 성공적으로 속이는 등 실세계 환경에서 매우 효과적이다.
• 전환에 대한 기대값(Expectation Over Transformation, EOT) 기법은 공격 생성 과정에서 실제 세계의 변형을 시뮬레이션함으로써 공격의 내성을 크게 향상시킨다.
• 영상 기반 공격에서 시간적 일관성은 매우 중요하며, 프레임 간의 일관성 없는 변형은 공격 성공률를 낮추고 탐지 가능성은 증가시킨다.
• 은밀성은 여전히 주요 과제이며, 물리적 공격에서 시각적 자연스러움을 평가하기 위한 통일된 기준이 없다.
• 물리적 적대적 공격는 객체 검출, 얼굴 인식, 세그멘테이션 등 다양한 과제 간에 이동성이 있으며, 광범위한 모델 취약성을 시사한다.
• 진전이 있음에도 불구하고, 표준화된 벤치마크와 평가 프로토콜의 부족으로 인해 분야 내 공정한 비교와 재현 가능성에 장애가 있다.