[논문 리뷰] Adversarial vulnerability for any classifier

Alhussein Fawzi, Hamza Fawzi외 1명|arXiv (Cornell University)|2018. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 50

한 줄 요약

이 논문은 매끄러운 생성 데이터 모델에서 분류기-종속적이지 않은 강건성의 상한을 유도하고, 적대적 perturbation의 전이 가능성을 증명하며, 분포 내 강건성과 비제약 강건성의 연관성을 제시하고, SVHN과 CIFAR-10 실험으로 상한을 검증한다.

ABSTRACT

Despite achieving impressive performance, state-of-the-art classifiers remain highly vulnerable to small, imperceptible, adversarial perturbations. This vulnerability has proven empirically to be very intricate to address. In this paper, we study the phenomenon of adversarial perturbations under the assumption that the data is generated with a smooth generative model. We derive fundamental upper bounds on the robustness to perturbations of any classification function, and prove the existence of adversarial perturbations that transfer well across different classifiers with small risk. Our analysis of the robustness also provides insights onto key properties of generative models, such as their smoothness and dimensionality of latent space. We conclude with numerical experimental results showing that our bounds provide informative baselines to the maximal achievable robustness on several datasets.

연구 동기 및 목표

• 잠재 공간에서 이미지로 매끄럽게 매핑되는 지도 g에 의해 데이터가 생성될 때, 어떤 분류기든 가능한 강건성 한계의 동기를 제시한다.
• 어떤 임의의 결정 규칙에 대해 교란이 얼마나 작아도 분류기를 속일 수 있는 확률적 한계를 도출한다.
• 적대적 교란의 전이 가능성과 분포 내 강건성과 비제약 강건성 간의 관계를 탐구한다.
• 상한을 정량화하고 강건한 모델 설계를 안내하기 위해 SVHN과 CIFAR-10에서 실험적 기준선을 제공한다.

제안 방법

• 분류기 f에 대해 in-distribution 강건성 r_in과 unconstrained 강건성 r_unc를 정의한다.
• 데이터를 z ~ N(0, I_d)이고 x = g(z)로 정의되는 매끄러운 생성기 g: Z -> X를 통해 모델링한다; 연속성의 모듈러스 omega를 부과한다: ||g(z) - g(z')|| <= omega(||z - z'||_2).
• 가우시안 등거리 부등식(도입)을 적용하여 r_in이 작아질 확률에 대한 하한을 도출한다(정리 1).
• 최근접 이웃 기반 분류기 f̃를 구성하여 r_unc가 r_in/2 이상임을 달성함으로써 r_unc와 r_in을 연관시킨다(정리 2).
• 두 분류기가 작은 공동 위험을 가지면 두 분류기를 모두 속이는 공통 교란이 존재한다는 전이 가능성 한계를 확립한다(정리 3).
• 1-워슈스타인 거리 하에서 근사 생성기에 대한 결과를 확장하고 대응하는 강건성 한계를 도출한다(정리 4).

실험 결과

연구 질문

• RQ1 데이터가 매끄러운 생성기 g에 의해 생성될 때, 임의의 분류기에 대한 교란에 대한 근본적 강건성 한계는 무엇인가?
• RQ2 같은 데이터 생성 모델 하에서 적대적 교란이 서로 다른 분류기에 전이되는가?
• RQ3 분포 내 강건성과 비제약 강건성은 어떻게 관계하며, 한 쪽을 다른 쪽으로부터 추론할 수 있는가?
• RQ4 클래스 수가 증가하고 생성기가 실제 데이터 분포를 근사할 때 상한은 어떻게 작용하는가?

주요 결과

• 상한은 매끄럽고 고차원 데이터 생성 하에서 어떤 분류기든 작은 교란으로 쉽게 속일 수 있음을 정량화한다.
• 적대적 교란은 분류기 간에 전이될 수 있다; 작은 공동 위험은 공유된 교란이 존재함을 시사한다(전이 가능성).
• 분포 내 강건성과 비제약 강건성은 밀접하게 연결되어 있다; 단순한 최근접 이웃 구성은 r_unc >= r_in/2를 보장한다.
• 상한은 클래스 수가 많아질수록 속임수 확률이 증가함을 예측하고 SVHN 및 CIFAR-10 실험에 대해 현실적인 기준선을 제공한다.
• SVHN/CIFAR-10 실험은 상한이 최대 달성 가능한 강건성에 대한 정보성 기준선을 제공하고 생성기의 매끄러움 및 잠재 공간 차원에 대한 시사점을 부각시킨다.