[논문 리뷰] Manifold Adversarial Learning

Shufei Zhang, Kaizhu Huang외 2명|arXiv (Cornell University)|2018. 07. 16.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 5

한 줄 요약

이 논문은 가우시안 믹스처 모델(GMM)과 KL-발산 정규화를 사용하여 잠재 공간 내 분포 다각형을 매끄럽게 함으로써 모델의 낙관성과 강건성을 향상시키는 새로운 적대적 학습 프레임워크인 다각형 적대적 훈련(MAT)을 제안한다. 데이터를 적대적으로 변형시켜 다각형의 매끄러움을 방해하면서도 모델이 이를 보완하도록 훈련시킴으로써, MNIST, CIFAR-10, SVHN에서 지도 및 준지도 학습 모두에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Recently proposed adversarial training methods show the robustness to both adversarial and original examples and achieve state-of-the-art results in supervised and semi-supervised learning. All the existing adversarial training methods consider only how the worst perturbed examples (i.e., adversarial examples) could affect the model output. Despite their success, we argue that such setting may be in lack of generalization, since the output space (or label space) is apparently less informative.In this paper, we propose a novel method, called Manifold Adversarial Training (MAT). MAT manages to build an adversarial framework based on how the worst perturbation could affect the distributional manifold rather than the output space. Particularly, a latent data space with the Gaussian Mixture Model (GMM) will be first derived.On one hand, MAT tries to perturb the input samples in the way that would rough the distributional manifold the worst. On the other hand, the deep learning model is trained trying to promote in the latent space the manifold smoothness, measured by the variation of Gaussian mixtures (given the local perturbation around the data point). Importantly, since the latent space is more informative than the output space, the proposed MAT can learn better a robust and compact data representation, leading to further performance improvement. The proposed MAT is important in that it can be considered as a superset of one recently-proposed discriminative feature learning approach called center loss. We conducted a series of experiments in both supervised and semi-supervised learning on three benchmark data sets, showing that the proposed MAT can achieve remarkable performance, much better than those of the state-of-the-art adversarial approaches. We also present a series of visualization which could generate further understanding or explanation on adversarial examples.

연구 동기 및 목표

• 기존의 적대적 훈련 방법이 출력 공간의 강건성에만 초점을 맞추며, 레이블 공간의 정보량이 낮아 일반화 능력에 한계가 있다는 점을 해결하기 위해.
• 출력 공간 외에도 잠재 공간에서 더 강력하고 압축된 데이터 표현을 학습시켜 모델의 일반화 능력을 향상시키기 위해.
• 중앙 손실(Center Loss)과 같은 기존 방법을 포함하고 개선하는 통합 프레임워크를 개발하기 위해.
• 잠재 공간 내 다각형의 매끄러움을 활용해 준지도 학습으로의 적대적 훈련을 확장하기 위해.
• 데이터 다각형의 구조적 변화를 반영한 더 도전적이고 해석 가능한 적대적 예제를 생성하기 위해.

제안 방법

• 잠재 특징 공간을 가우시안 믹스처 모델(GMM)로 모델링하여 기저 데이터 분포를 표현한다.
• 원본 및 변형된 예제의 GMM 간 KL-발산을 통해 잠재 공간 내 다각형의 매끄러움을 정의한다.
• KL-발산을 최대화하도록 적대적 노이즈를 생성함으로써 다각형의 구조를 가장 크게 방해한다.
• 딥 네트워크는 이 KL-발산을 최소화하도록 훈련되어, 잠재 다각형 내 강건성과 매끄러움을 증진시킨다.
• 최대 상호정보량(MMI)을 사용해 잠재 공간을 정규화함으로써 정보량이 많고 분류에 유용한 표현을 보장한다.
• 훈련 과정은 엔드 투 엔드이며 확장 가능하여 지도 및 준지도 학습 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 출력 공간을 초월해 잠재 공간으로 효과적으로 확장하여 일반화 능력을 향상시킬 수 있는가?
• RQ2 GMM와 KL-발산을 사용해 잠재 공간 내 분포 다각형을 매끄럽게 함으로써 모델의 강건성과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 MAT 프레임워크는 중심 손실과 같은 기존 방법을 통합하거나 개선할 수 있는가?
• RQ4 다각형의 구조에 기반한 적대적 훈련은 더 도전적이고 해석 가능한 적대적 예제를 생성할 수 있는가?
• RQ5 MAT는 지도 및 준지도 학습 환경에서 최신 기술의 적대적 훈련 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• MAT는 지도 및 준지도 학습 모두에서 MNIST, CIFAR-10, SVHN에서 최신 기술 성능을 달성하며, 기존의 적대적 훈련 방법보다 뚜렷이 뛰어난 성능을 보였다.
• MNIST에서 MAT는 FGSM, PGD 및 기타 적대적 공격에 대해 특히 강력한 강건성을 보였으며, 강한 노이즈가 가해진 경우에도 유의미하게 뛰어난 성능을 보였다. 유일한 예외는 FGSM 방어에 있어 FGSM 자체가 최고 성능을 보인 특정 케이스였다.
• t-SNE 임베딩의 시각화 결과, MAT는 점점 증가하는 적대적 노이즈 하에서도 더 잘 분류 가능한 클래스 클러스터를 유지하는 반면, VAT는 더 큰 클래스 붕괴 현상을 보였다.
• MAT가 생성한 적대적 예제는 종종 숫자를 유사한 외형을 가진 다른 숫자로 변형시키며(예: 3→8, 7→9, 6→8), 이는 변형이 데이터 다각형의 핵심적인 구조적 스토리지(예: 선분)를 공격한다는 것을 시사한다.
• 이 방법은 특히 숫자 데이터셋에서 실제 데이터와 구별하기 어려운 적대적 예제를 효과적으로 생성하였다. 이는 다각형 수준의 변형이 효과적으로 이루어졌음을 의미한다.
• CIFAR-10에서는 적대적 예제가 더 시각적으로 해석하기 어려웠으며, 이는 손글씨 숫자보다 더 높은 복잡도의 오브제트 수준의 구조 때문일 것이다.