[논문 리뷰] Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability

Bilel Tarchoun, Ihsen Alouani외 2명|arXiv (Cornell University)|2021. 10. 10.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 7

한 줄 요약

이 논문은 기존 패치에 투시 기하학적 변환을 적용하여 다중 시점 객체 검출에서 시점 각도에 따른 적대적 패치의 전이 가능성에 대해 연구하는 방법을 제안한다. 결과적으로 시점 각도가 패치의 효과성에 심각한 영향을 미치며, 때로는 90% 이상 감소함을 입증하여, 적대적 공격 및 방어 설계에 시점 변동성을 통합할 필요성을 강조한다.

ABSTRACT

While machine learning applications are getting mainstream owing to a demonstrated efficiency in solving complex problems, they suffer from inherent vulnerability to adversarial attacks. Adversarial attacks consist of additive noise to an input which can fool a detector. Recently, successful real-world printable adversarial patches were proven efficient against state-of-the-art neural networks. In the transition from digital noise based attacks to real-world physical attacks, the myriad of factors affecting object detection will also affect adversarial patches. Among these factors, view angle is one of the most influential, yet under-explored. In this paper, we study the effect of view angle on the effectiveness of an adversarial patch. To this aim, we propose the first approach that considers a multi-view context by combining existing adversarial patches with a perspective geometric transformation in order to simulate the effect of view angle changes. Our approach has been evaluated on two datasets: the first dataset which contains most real world constraints of a multi-view context, and the second dataset which empirically isolates the effect of view angle. The experiments show that view angle significantly affects the performance of adversarial patches, where in some cases the patch loses most of its effectiveness. We believe that these results motivate taking into account the effect of view angles in future adversarial attacks, and open up new opportunities for adversarial defenses.

연구 동기 및 목표

• 다중 시점 객체 검출 시스템에서 시점 각도가 적대적 패치의 전이 가능성과 효과성에 미치는 영향을 조사하는 것.
• 기존 연구가 일반적으로 각 시점에서 별도로 평가하는 데서 비롯된 격차를 해결하기 위해, 실제 다중 시점 동적 환경을 고려하지 않은 점을 보완하는 것.
• 기존에 훈련된 적대적 패치에 투시 기하학적 변환을 적용하여 시점 각도 효과를 시뮬레이션하는 방법을 개발하고 검증하는 것.
• 시점 각도를 유일한 변수로 고립한 새로운 통제된 데이터셋(LATIS-MVAPE)을 제안하는 것.
• 적대적 패치가 최적의 각도가 아닌 시점에서 볼 경우 상당한 효과성이 떨어짐을 경험적으로 입증하여 향후 강인성 및 방어 전략 수립에 기여하는 것.

제안 방법

• 저자들은 기존의 적대적 패치에 투시 기하학적 변환을 적용하여 다양한 시점에서의 성능 평가가 가능하도록 하였다.
• 패치 생성 방법은 [8]에서 제안한 방식을 사용하여 보행자에 대한 객체 존재도 점수를 최소화하도록 훈련시켰으며, 인쇄 가능하고 내부 클래스 변동성이 높은 대상에 집중하였다.
• 손실 함수는 비인쇄성 점수($L_{nps}$), 총 변동 손실($L_{tv}$), 객체 존재도 손실($L_{obj}$)을 조합하여 Adam 최적화기를 사용해 경험적으로 조정된 가중치로 최적화하였다.
• 두 가지 데이터셋을 사용하였다: Wildtrack(실세계 다중 시점, 환경적 변동성 존재)와 LATIS-MVAPE(252장의 이미지로 구성된 통제된 데이터셋, 7개의 각도와 2개의 거리로 구성되어 시점 각도 효과를 고립함).
• 각 시점에서 패치는 기하학적 변환 후 적용되며, YOLO 기반 보행자 검출기를 사용하여 탐지 재현율을 측정하여 공격 성공 여부를 평가하였다.
• 기준 시점은 기준선으로 사용되며, 청소된 입력과 패치 적용 입력 간의 재현율 감소 비율을 백분율로 성능 차이를 정량화하였다.

실험 결과

연구 질문

• RQ1 시점 각도의 변화가 다중 시점 객체 검출에서 적대적 패치의 전이 가능성과 효과성에 어떤 영향을 미치는가?
• RQ2 훈련 시 사용한 시점 각도와 다른 각도에 패치를 적용했을 때, 적대적 패치의 성능이 얼마나 떨어지는가?
• RQ3 시점 각도가 적대적 패치 성능에 미치는 영향을 고립하기 위해 통제된 데이터셋을 구축할 수 있는가?
• RQ4 다양한 시점(비전면 각도 포함)에서 훈련한 패치는 시점 변화에 대해 더 강인한가?
• RQ5 시점 각도 영향은 향후 적대적 공격 및 다중 시점 방어 설계에 어떤 함의를 갖는가?

주요 결과

• Wildtrack 데이터셋에서, 적대적 패치는 기준 시점(시점 1)에서 다른 각도로 전이될 경우 최대 94.01%의 효과성 손실을 보였으며, 시점 7에서는 재현율이 94.01% 감소하였다.
• LATIS-MVAPE 데이터셋에서는 기준 시점($5^ ext{th}$ 각도)에서만 훈련된 패치가 $90^ ext{th}$ 각도에서 재현율이 38.89%에 그쳐 극단적인 시점 각도에서 심각한 성능 저하가 발생함을 확인하였다.
• 기준 시점과 $60^ ext{th}$ 각도 시점에서 함께 훈련한 패치의 경우 $90^ ext{th}$ 각도에서 재현율이 27.78%로 향상되어, 다중 시점 훈련이 시점 각도 저하를 완화하지만 완전히 제거하지는 못함을 보여주었다.
• LATIS-MVAPE에서 가장 좋은 경우에도 $120^ ext{th}$ 각도에서 재현율이 최대 96.43%에 그쳐, 여전히 시점 각도가 패치 강인성에 중요한 요소로 남아 있음을 확인하였다.
• 연구 결과는 시점 각도가 적대적 패치 실패의 주요 원인임을 확인하였으며, 특히 기울어진 각도에서 여러 사례에서 80% 이상의 성능 저하가 발생함을 보여주었다.
• 결과적으로 다중 시점 검출기(다양한 카메라에서 정보를 융합하는 시스템)는 공격자가 모든 시점을 동시에 속이도록 요구하므로 효과적인 방어 수단이 될 수 있음을 시사한다.