[논문 리뷰] Adversarial Training with Voronoi Constraints

Marc Khoury, Dylan Hadfield-Menell|arXiv (Cornell University)|2019. 05. 02.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 16

한 줄 요약

이 논문은 기존의 노름-공을 학습 데이터 포인트 주변의 바르노이 세포로 대체하여 적대적 훈련을 개선함으로써 정규화된 강건성을 향상시키는 바르노이 제약을 도입한다. 이는 MNIST에서 최고 성능(NAUC 0.81)을 달성하고, 사전에 허용 오차 크기 𝜖를 설정하지 않아도 되는 CIFAR-10에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

Adversarial examples are a pervasive phenomenon of machine learning models where seemingly imperceptible perturbations to the input lead to misclassifications for otherwise statistically accurate models. We propose a geometric framework, drawing on tools from the manifold reconstruction literature, to analyze the high-dimensional geometry of adversarial examples. In particular, we highlight the importance of codimension: for low-dimensional data manifolds embedded in high-dimensional space there are many directions off the manifold in which an adversary could construct adversarial examples. Adversarial examples are a natural consequence of learning a decision boundary that classifies the low-dimensional data manifold well, but classifies points near the manifold incorrectly. Using our geometric framework we prove that adversarial training is sample inefficient, and show sufficient sampling conditions under which nearest neighbor classifiers and ball-based adversarial training are robust. Finally we introduce adversarial training with Voronoi constraints, which replaces the norm ball constraint with the Voronoi cell for each point in the training set. We show that adversarial training with Voronoi constraints produces robust models which significantly improve over the state-of-the-art on MNIST and are competitive on CIFAR-10.

연구 동기 및 목표

• 깊이 학습 모델이 고차원 입력 공간에서 적대적 예제에 매우 취약한 현상에 대응하기 위해.
• 고차원 공간에 임bedded된 저차원 데이터 다양체를 기반으로 기하학적 프레임워크를 통해 적대적 강건성을 체계화하기 위해.
• 기존의 ℓp-노름 제약을 사용한 적대적 훈련이 현실적인 데이터 환경에서 강건한 일반화를 이루는 데에 부적절하고 샘플 효율성이 떨어지므로 이를 밝혀내기 위해.
• 노름-공 대신 바르노이 세포를 사용하여 지역 데이터 구조를 더 잘 포착하고 강건성을 향상시키는 새로운 적대적 훈련 프레임워크를 제안하기 위해.
• 바르노이 기반 제약이 사전에 허용 오차 크기 𝜖를 설정할 필요 없이 지역 데이터 분포에 따라 적응적인 강건성을 가능하게 한다는 것을 보여주기 위해.

제안 방법

• 고차원 공간에 임베딩된 저차원 다양체로 데이터를 모델링함으로써 다각도 가설을 체계화하고, 적대적 예제가 고코디멘션에서 발생함을 정의한다.
• 학습 포인트 주변의 ℓp-노름 공 내에서 강건성을 보장하는 이론적 모델 ℒ을 정의하고, 고코디멘션에서의 샘플 비효율성을 증명한다.
• 적대적 훈련에서 ℓp-노름 공 제약을 각 학습 포인트의 바르노이 세포로 대체하여 지역 데이터 밀도와 기하학에 적응하도록 한다.
• 바르노이 세포를 사용하여 허용 가능한 변형 집합을 정의함으로써, 다양체 외부의 방향으로도 자연스럽게 데이터 분포에 의해 제약을 받는 방식으로 적대자 행동을 모델링한다.
• 기존의 적대적 훈련 목적함수를 그대로 사용하되, 변형을 ℓp-공이 아닌 바르노이 세포 내로 제한한다.
• MNIST와 CIFAR-10에서 𝜖 증가에 따른 ℓ∞-노름 기반 정확도와 NAUC(곡선 아래 면적 정규화)를 사용해 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 왜 고차원 모델에서 적대적 예제가 널리 퍼져 있으며, 코디멘션이 이 현상에 어떤 기여를 하는가?
• RQ2 고코디멘션 환경에서 샘플 비효율성으로 인해 기존의 ℓp-노름 제약을 사용한 적대적 훈련이 어느 정도 부적절한가?
• RQ3 적대적 훈련에서 ℓp-노름 공을 바르노이 세포로 대체하면 사전에 𝜖를 설정하지 않아도 강건성이 향상될 수 있는가?
• RQ4 로컬 데이터 다양체 위상의 포괄 능력에서 바르노이 세포의 기하학적 구조는 노름-공보다 어떻게 더 우수한가?
• RQ5 실제 데이터셋인 MNIST와 CIFAR-10에서 바르노이 기반 적대적 훈련을 사용할 경우 자연 정확도와 강건성 간의 상호 교환 관계는 어떻게 되는가?

주요 결과

• 바르노이 제약을 통한 적대적 훈련은 MNIST에서 NAUC 0.81을 달성하여 마드리 베이스라인(NAUC 0.67)을 크게 앞서며, 𝜖 = 0.4일 때도 76.3%의 정확도를 유지한다.
• MNIST에서 표준 𝜖 = 0.3을 초월해도 높은 강건성을 유지하며, 𝜖 = 0.4를 넘어서야 정확도가 급격히 떨어지지만, 마드리 모델은 이미 𝜖 = 0.3에서 붕괴된다.
• 고코디멘션(예: 코디멘션 500) 환경에서는 바르노이 기반 방법이 NAUC 0.92를 기록하여 마드리 방법(NAUC 0.87)을 앞서며 극단적 조건에서도 강건성이 향상됨을 입증한다.
• 𝜖를 사전에 설정할 필요가 없으며, 바르노이 세포가 지역 데이터 구조에 적응함으로써 지역적으로 변하는 변형 크기에 대응하는 강건성을 가능하게 한다.
• 150 에포크 동안 𝜖 = 0.4에서 ℓ∞-노름 제약을 적용한 훈련은 원래 마드리 모델보다 [0, 0.3] 범위에서 더 열악한 강건성을 보였지만, 바르노이 기반 모델은 뛰어난 성능(NAUC 0.81 대 0.76)을 유지한다.
• CIFAR-10에서 바르노이 기반 모델과 마드리 모델 모두 NAUC 0.29를 기록하지만, 제안된 방법은 더 큰 변형에 대한 강건성을 향상시키기 위해 자연 정확도를 희생함으로써 알려진 강건성-정확도 트레이드오프와 일치한다.