[논문 리뷰] Universal adversarial perturbations

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi외 2명|arXiv (Cornell University)|2016. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 90

한 줄 요약

이 논문은 상태최악의 딥 네ural 네트워크를 거의 모든 자연 이미지에서 속임수를 걸리게 하는 작은, 이미지에 의존하지 않는 교란을 도입한다. 저자들은 이러한 교란을 생성하기 위해 반복적인 알고리즘을 제안하며, 이 교란이 이미지와 네트워크 아키텍처 간에 일반화됨을 입증함으로써 딥 네트워크의 결정 경계에 강력한 기하학적 상관관계가 있음을 드러낸다.

ABSTRACT

Given a state-of-the-art deep neural network classifier, we show the existence of a universal (image-agnostic) and very small perturbation vector that causes natural images to be misclassified with high probability. We propose a systematic algorithm for computing universal perturbations, and show that state-of-the-art deep neural networks are highly vulnerable to such perturbations, albeit being quasi-imperceptible to the human eye. We further empirically analyze these universal perturbations and show, in particular, that they generalize very well across neural networks. The surprising existence of universal perturbations reveals important geometric correlations among the high-dimensional decision boundary of classifiers. It further outlines potential security breaches with the existence of single directions in the input space that adversaries can possibly exploit to break a classifier on most natural images.

연구 동기 및 목표

• 단일 고정된 교란 벡터를 사용해 광범위한 자연 이미지의 오분류를 유도할 수 있는 작은, 일반적인 교란이 존재하는지 조사하기.
• 각 이미지 최적화 없이도 효율적으로 이러한 일반적인 교란을 계산하는 알고리즘 개발하기.
• 다양한 딥 네트워크 아키텍처 간에 일반적인 교란의 일반화 성질 분석하기.
• 일반적인 교란의 존재성과 강건성을 설명하는 딥 네트워크 결정 경계의 기하학적 상관관계 밝혀내기.

제안 방법

• 특정 데이터 포인트를 분류기의 결정 경계로 이동시키기 위해 설계된 원자적 교란 벡터를 집계하는 반복적 알고리즘 제안.
• 개별 이미지의 국소 적대적 교란을 기울기 기반 방법으로 계산하고, 반복적 개선을 통해 이를 일반적인 교란으로 통합.
• 결정 경계의 정규 벡터 행렬에 특이값 분해(SVD)를 적용하여, 데이터 포인트 간 기하학적 상관관계를 포괄하는 저차원 부분공간 식별.
• 결정 경계 정규 벡터의 주요 부분공간 내에서 방향을 선택하여 일반적인 교란을 구성함으로써, 미리 보지 않은 이미지에 대해 오분류율 최대화.
• ImageNet으로 훈련된 모델에 대해 검증 수행하며, 훈련 이미지의 일부를 사용해 교란을 계산하고, 별도의 테스트 세트를 사용해 일반화 성능 평가.
• 저차원 부분공간 내에서의 무작위 방향과 최적화된 일반적인 교란 간 성능 비교를 통해, 오분류율에서의 우월성 입증.

실험 결과

연구 질문

• RQ1 단일의 작고 작은 교란 벡터를 구성할 수 있는가? 이 교란은 대부분의 자연 이미지에서 딥 네트워크의 오분류를 일으키는가?
• RQ2 제안된 알고리즘이 각 이미지 최적화 없이 이러한 일반적인 교란을 어떻게 효율적으로 계산하는가?
• RQ3 일반적인 교란은 다양한 딥 네트워크 아키텍처 간에 어느 정도 일반화되는가?
• RQ4 결정 경계의 어떤 기하학적 성질이 일반적인 교란의 존재성과 강건성을 설명하는가?
• RQ5 다양한 자연 이미지 간에 결정 경계의 정규 벡터를 포괄하는 입력 공간 내 저차원 부분공간이 존재하는가?

주요 결과

• 매우 작고 인간의 눈으로는 인지하기 어려운 교란이라도, 최신 딥 네트워크에서 높은 확률로 오분류를 유도할 수 있는 일반적인 교란이 존재한다.
• 제안된 반복적 알고리즘이 성공적으로 일반적인 교란을 계산하여, 별도의 테스트 세트에서 약 38%의 오분류율을 달성한다.
• 일반적인 교란은 다양한 신경망 아키텍처 간에 놀랄 만큼 잘 일반화되어 있으며, 이미지에 의존하지 않고 네트워크에 의존하지 않는 '이중 일반성'을 가진다.
• 결정 경계 정규 벡터의 특이값 분석을 통해 대부분의 기하학적 상관관계를 포괄하는 저차원 부분공간(d' ≪ d)을 식별하였으며, 이는 일반적인 교란의 존재를 설명한다.
• 식별된 저차원 부분공간 내에서의 무작위 교란은 약 38%의 테스트 이미지를 오분류하며, 이는 무작위 교란이 오직 10%의 오분류율을 기록하는 것과 비교해 뚜렷한 우월성을 보인다.
• 이러한 교란의 존재는 딥 네트워크의 결정 경계에 강력한 기하학적 상관관계가 있기에 발생하는 근본적인 취약성을 드러낸다.