[논문 리뷰] Adversarial Examples Are Not Bugs, They Are Features

Andrew Ilyas, Shibani Santurkar외 4명|arXiv (Cornell University)|2019. 05. 06.

Adversarial Robustness in Machine Learning참고 문헌 61인용 수 395

한 줄 요약

본 논문은 적대적 취약성이 데이터에서 비강건하지만 매우 예측력이 높은 특성에서 기인한다고 주장하며, 강건/비강건 특성이 데이터셋과 이론을 통해 어떻게 구분되고 조작될 수 있는지 보여준다.

ABSTRACT

Adversarial examples have attracted significant attention in machine learning, but the reasons for their existence and pervasiveness remain unclear. We demonstrate that adversarial examples can be directly attributed to the presence of non-robust features: features derived from patterns in the data distribution that are highly predictive, yet brittle and incomprehensible to humans. After capturing these features within a theoretical framework, we establish their widespread existence in standard datasets. Finally, we present a simple setting where we can rigorously tie the phenomena we observe in practice to a misalignment between the (human-specified) notion of robustness and the inherent geometry of the data.

연구 동기 및 목표

• 표준 지도 학습에서 비강건하지만 예측력이 높은 특성으로 인해 적대적 취약성이 발생한다는 새로운 관점을 동기화한다.
• 취약성을 분석하기 위한 형식적 강건/비강건 특성 프레임워크를 개발한다.
• 데이터셋 구성과 실험적 시연을 통해 강건한 특성과 비강건한 특성을 구분한다.
• 데이터와扰动 지표의 불일치를 통해 강건성을 연구하는 이론적 모델을 제공한다.

제안 방법

• 데이터 분포에서 rho-유용한(feature), gamma-강건하게 유용한(feature), 그리고 유용한 비강건한(feature)을 정의한다.
• 훈련 중 강건성을 모델링하기 위해扰动에 대한 최대화(적대적 손실) 사용한다.
• 강건한 모델이 사용하는 특성 또는 표준 모델이 사용하는 특성으로 제한하여 강건화된 데이터셋과 비강건화된 데이터를 구성한다.
• 강건화된 데이터에 대해 표준 학습을 수행하면 원래 데이터에 대한 강건한 정확도를 얻을 수 있음을 보여준다.
• 비강건한 특성만으로도 표준 일반화를 뒷받침할 수 있음을 보이고, 이를 통해 적대적 전이성에 대한 관계를 설명한다.
• 가우시안 혼합 기반 이론적 프레임워크를 제시하여 적대적扰动 하의 강건성을 분석한다.

실험 결과

연구 질문

• RQ1 표준 데이터셋에서 강건한 특성과 비강건한 특성을 명시적으로 분리할 수 있는가?
• RQ2 강건한 특성으로 데이터셋을 제한하면 표준 학습으로도 강건한 학습이 가능한가?
• RQ3 비강건한 특성만으로도 표준 일반화가 충분한가, 그리고 이것이 적대적 전이성과 어떤 관련이 있는가?
• RQ4 적대적 학습은 데이터 기하학 및 특성 지표를 어떻게 바꿔 강건성을 얻는가?

주요 결과

• 강건하지 않으면서도 매우 예측력이 높은 특성이 존재하고, 표준 학습은 이를 활용하여 적대적 취약성을 야기한다.
• 강건화된 데이터셋을 통해 비강건한 특성을 제거하면 표준 학습이 원래 테스트 세트에서 강건한 성능을 달성한다.
• 비강건한 특성만으로도 표준 분류가 충분히 가능하며, 입력이 인간에게는 잘못 표기된 것으로 보일 수 있다.
• 적대적 전이성은 서로 다른 아키텍처에서 유사한 비강건 특성을 학습함으로써 설명될 수 있다.
• 가우시안 기반의 이론적 모델은 데이터-기반 지표와 어드버서리의扰动 지표 간의 불일치로 인해 강건성이 생긴다고 보여준다.