[논문 리뷰] A Survey on Physical Adversarial Attack in Computer Vision

Donghua Wang, Wen Yao외 3명|arXiv (Cornell University)|2022. 09. 28.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 종합 검토는 컴퓨터 시각 분야의 물리적 적대적 공격에 대해 종합적이고 최신의 분석을 제공하며, 2016~2023년 사이의 95개 연구를 새로운 다섯 단계 분류 체계(타겟 모델 선택, 문제 모델링, 최적화, 구현, 평가)로 분류한다. 실제 환경 조건에서의 강건성 문제를 규명하고, 더 효과적이고 재현 가능한 물리적 공격을 위한 향후 연구 방향을 제안한다.

ABSTRACT

Over the past decade, deep learning has revolutionized conventional tasks that rely on hand-craft feature extraction with its strong feature learning capability, leading to substantial enhancements in traditional tasks. However, deep neural networks (DNNs) have been demonstrated to be vulnerable to adversarial examples crafted by malicious tiny noise, which is imperceptible to human observers but can make DNNs output the wrong result. Existing adversarial attacks can be categorized into digital and physical adversarial attacks. The former is designed to pursue strong attack performance in lab environments while hardly remaining effective when applied to the physical world. In contrast, the latter focus on developing physical deployable attacks, thus exhibiting more robustness in complex physical environmental conditions. Recently, with the increasing deployment of the DNN-based system in the real world, strengthening the robustness of these systems is an emergency, while exploring physical adversarial attacks exhaustively is the precondition. To this end, this paper reviews the evolution of physical adversarial attacks against DNN-based computer vision tasks, expecting to provide beneficial information for developing stronger physical adversarial attacks. Specifically, we first proposed a taxonomy to categorize the current physical adversarial attacks and grouped them. Then, we discuss the existing physical attacks and focus on the technique for improving the robustness of physical attacks under complex physical environmental conditions. Finally, we discuss the issues of the current physical adversarial attacks to be solved and give promising directions.

연구 동기 및 목표

• DNN가 점점 더 실제 시스템에 도입되면서 강건한 물리적 적대적 공격에 대한 수요가 증가하고 있음을 고려하여.
• 이미지 인식, 객체 검출 및 기타 작업 전반에 걸쳐 물리적 적대적 공격에 대한 체계적인 분류 체계를 제공하기 위해.
• 평가의 핵심적 격차를 규명하기 위해, 표준화된 벤치마크 부족 및 동적 테스트 기준 부족을 포함.
• 적대적 변형이 악용을 넘어서 모델의 강건성 향상과 복잡한 환경에서의 안정성 향상에 활용될 수 있는 잠재적 가능성을 탐색하기 위해.

제안 방법

• 물리적 공격의 다섯 단계 분류 체계(타겟 모델, 문제 모델링, 최적화, 구현, 평가)를 제안하였다.
• 2016년부터 2023년 7월까지의 95篇의 최근 물리적 적대적 공격 논문을 키워드 기반 및 참고문헌 기반 문헌 수집을 통해 검토하였다.
• 작업(이미지 인식, 객체 검출, 기타)별로 공격를 분류하고, 실제 조건에서의 강건성 향상 기법을 분석하였다.
• 데이터셋 및 구현 시나리오에 따라 기존 공격 방법을 평가하며, 평가 프로토콜의 일관성 부족을 드러내었다.
• 통제된 조건에서 물리적 공격 테스트의 표준화 및 재현 가능성을 높이기 위해 시뮬레이션 환경(예: Carla, AirSim)의 활용을 제안하였다.
• 동적 설정, 환경 요소, 해상도 제약 조건을 포함한 통일된 물리적 테스트 기준이 필요하다는 점을 규명하였다.

실험 결과

연구 질문

• RQ1 물리적 적대적 공격는 공격 파이프라인 전반에서 어떻게 체계적으로 분류될 수 있는가?
• RQ2 실제 환경의 변화 요인에 비추어 물리적 강건성을 확보하는 데 있어 핵심적인 기술적 과제는 무엇인가?
• RQ3 왜 현재 물리적 적대적 공격의 재현성이 제한되어 있으며, 시뮬레이션 기반 테스트는 이를 어떻게 향상시킬 수 있는가?
• RQ4 디지털 공격에서의 이동성과 강건성은 물리 세계에서의 효과성으로 얼마나 잘 이행되는가?
• RQ5 적대적 변형이 악용을 넘어서, 예를 들어 모델의 강건성 향상에 활용될 수 있는 잠재적 긍정적 응용은 무엇인가?

주요 결과

• 물리적 적대적 공격 논문의 수는 크게 증가했으며, 2016년부터 2023년까지 95개의 연구를 검토한 것으로 나타나 연구 관심이 증가하고 있음을 보여준다.
• 대부분의 물리적 공격는 이미지 인식과 객체 검출에 집중되어 있으며, 세그멘테이션 및 추적 분야는 여전히 미비하게 다뤄지고 있다.
• 현재 평가 관행은 표준화되어 있지 않으며, 데이터셋의 일관성 부족과 환경 조건의 충분한 기술 부족이 문제이다.
• 정지 상태의 물리적 테스트는 물체의 운동과 조도 변화가 공격 성공률에 영향을 주는 동적 실세계 시나리오를 반영하지 못한다.
• Carla 및 AirSim과 같은 시뮬레이션 플랫폼은 통제된 조건에서 재현 가능한 물리적 공격 평가를 위한 유망한 길을 제공한다.
• 적대적 예측을 복잡한 실세계 환경에서 모델의 강건성을 향상시키기 위한 학습 데이터로 활용할 잠재력이 높다.