[논문 리뷰] On the Geometry of Adversarial Examples

Marc Khoury, Dylan Hadfield-Menell|arXiv (Cornell University)|2018. 11. 01.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 43

한 줄 요약

이 논문은 고차원에서의 데이터 매니폴드에 기반한 적대적 예에 대한 기하학적 프레임워크를 제시하고, 코디멘션을 핵심 요인으로 강조하며, 노름 기반 강건성 트레이드오프를 증명하고, 최근접 이웃(nearest-neighbor)과 볼(ball) 기반 방법 간의 샘플링 효율성 차이를 보여준다.

ABSTRACT

Adversarial examples are a pervasive phenomenon of machine learning models where seemingly imperceptible perturbations to the input lead to misclassifications for otherwise statistically accurate models. We propose a geometric framework, drawing on tools from the manifold reconstruction literature, to analyze the high-dimensional geometry of adversarial examples. In particular, we highlight the importance of codimension: for low-dimensional data manifolds embedded in high-dimensional space there are many directions off the manifold in which to construct adversarial examples. Adversarial examples are a natural consequence of learning a decision boundary that classifies the low-dimensional data manifold well, but classifies points near the manifold incorrectly. Using our geometric framework we prove (1) a tradeoff between robustness under different norms, (2) that adversarial training in balls around the data is sample inefficient, and (3) sufficient sampling conditions under which nearest neighbor classifiers and ball-based adversarial training are robust.

연구 동기 및 목표

• 데이터와 적대적 섭동의 매니폴드 기반 모델을 형식화한다.
• 높은 코디멘션이 적대적 섭동에 대한 강건성에 어떤 영향을 미치는지 정량화한다.
• 볼 기반 적대적 학습의 한계와 샘플링 요구 사항을 밝혔다.
• 최근접 이웃 방법을 포함한 강건한 분류 전략을 제안하고 분석한다.

제안 방법

• 데이터를 클래스별 저차원 매니폴드의 샘플의로 모델링하고, 이 매니폴드가 고차원 공간에 내재한다고 본다.
• 결정 축을 매니폴드 곡률을 고려한 최대 여백의 일반화로 정의한다.
• 매니폴드 주변의 엡실론-튜뷸러 이웃의 개념을 도입하여 적대적 예를 표현한다.
• 노름 기반 트레이드오프를 증명하여 Lambda_2와 Lambda_infty가 서로 다름을 보이고, 이는 노름별 강건성 한계를 시사한다.
• 엡실론-강건성 하에서 최근접 이웃 및 볼 기반 학습 방법에 대한 샘플링 기반 보장을 제공한다.
• 합성 데이터와 MNIST 실험을 사용하여 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 데이터 매니폴드와 주변 공간 사이의 코디멘션이 적대적 강건성에 어떤 영향을 미치는가?
• RQ2 하나의 결정 경계가 서로 다른 노름에 걸친 섭동에 대해 강건할 수 있는가, 아니면 노름별 트레이드오프가 피할 수 없는가?
• RQ3 볼 기반의 적대적 학습 방법이 최근접 이웃 분류기보다 강건성을 달성하는 데 샘플 효율적인가?
• RQ4 고 코디멘션 설정에서 최근접 이웃 분류기가 강건성 이점을 제공하는가?

주요 결과

• 노름 간 강건성에 트레이드오프가 존재하며, 즉 Lambda_2와 Lambda_infty는 일반적으로 서로 다르며 노름별 강건성 한계로 이어진다.
• 훈련 데이터 주변의 볼에서의 적대적 학습은 강건한 분류를 달성하는 데 샘플 효율이 낮다.
• 충분한 샘플링이 주어지는 경우, 고 코디멘션에서 최근접 이웃 분류기가 강건할 수 있는데, 이는 길게 늘어난 보로노이 셀 때문이라고 한다.
• X^epsilon(볼 기반 확장)은 종종 M^epsilon를 잘 모델링하지 못하여 표준 적대적 학습의 강건성 향상 효과가 제한적임을 설명한다.
• 일부 구성에서는 동일한 강건성을 달성하기 위해 최근접 이웃 방법이 학습 알고리즘 L보다 기하급수적으로 적은 샘플을 필요로 한다.
• 합성 데이터 및 MNIST에 대한 실험 결과는 노름별 강건성과 샘플링 효율성에 관한 이론적 주장들을 뒷받침한다.