[논문 리뷰] VarMixup: Exploiting the Latent Space for Robust Training and Inference

Puneet Mangla, Vedant Singh외 2명|arXiv (Cornell University)|2020. 03. 14.

Adversarial Robustness in Machine Learning참고 문헌 5인용 수 4

한 줄 요약

VarMixup는 깊이 신경망의 잠재 공간을 활용하여 더 강력한 훈련 샘플을 생성하는 새로운 데이터 증강 기법을 제안한다. 이는 적대적 훈련 없이도 적대적 방어력을 크게 향상시킨다. CIFAR-10, CIFAR-100, SVHN, Tiny-ImageNet에서 기존 최고 수준의 적대적 훈련 방법을 능가하며, 데이터 다양체에서 적극적으로 믹스업 이미지를 샘플링함으로써 뛰어난 방어성, 낮은 校정 오차, 높은 이식성 확보를 달성한다.

ABSTRACT

The vulnerability of Deep Neural Networks (DNNs) to adversarial attacks has led to the development of many defense approaches. Among them, Adversarial Training (AT) is a popular and widely used approach for training adversarially robust models. Mixup Training (MT), a recent popular training algorithm, improves the generalization performance of models by introducing globally linear behavior in between training examples. Although still in its early phase, we observe a shift in trend of exploiting Mixup from perspectives of generalisation to that of adversarial robustness. It has been shown that the Mixup trained models improves the robustness of models but only passively. A recent approach, Mixup Inference (MI), proposes an inference principle for Mixup trained models to counter adversarial examples at inference time by mixing the input with other random clean samples. In this work, we propose a new approach - extit{VarMixup (Variational Mixup)} - to better sample mixup images by using the latent manifold underlying the data. Our experiments on CIFAR-10, CIFAR-100, SVHN and Tiny-Imagenet demonstrate that extit{VarMixup} beats state-of-the-art AT techniques without training the model adversarially. Additionally, we also conduct ablations that show that models trained on extit{VarMixup} samples are also robust to various input corruptions/perturbations, have low calibration error and are transferable.

연구 동기 및 목표

• 깊이 신경망의 적대적 공격에 대한 취약성을 개선하기 위해 더 나은 데이터 증강을 통해 방어성을 향상시키는 것.
• 표준 믹스업 훈련에서의 수동적 방어성의 한계를 극복하기 위해 믹스업 샘플링 중 데이터 다양체의 본질적 구조를 적극적으로 활용하는 것.
• 적대적 훈련이 필요 없이 적대적 예제, 분포 이탈, 입력 오염에 대한 방어성을 향상시키는 훈련 방법을 개발하는 것.
• 잠재 공간 내에서 더 체계적인 샘플링 전략을 통해 모델의 校정 성능과 이식성을 향상시키는 것.
• 잠재 공간 인식 믹스업 샘플링이 표준 또는 적대적 방법으로 훈련된 모델보다 일반화 능력과 방어성이 뛰어난 모델을 도출할 수 있음을 입증하는 것.

제안 방법

• VarMixup는 사전 훈련된 오토인코더 또는 특징 인코더의 잠재 공간에서 믹스업 증강을 샘플링하기 위한 변동형 추론 프레임워크를 도입한다.
• 이 방법은 입력 이미지의 잠재 표현을 변동형 오토인코더(VAE)를 사용해 모델링함으로써 다양한 의미적 의미를 지닌 믹스업 샘플을 생성할 수 있도록 한다.
• 이 방법은 픽셀 공간이 아닌 잠재 공간에서 믹스업을 수행하며, 보간된 잠재 코드를 사용해 새로운 훈련 샘플을 생성한다.
• 잠재 코드는 학습된 후행 분포에서 샘플링되어 보간된 샘플이 데이터 다양체 위 또는 그 근처에 위치하도록 보장한다.
• 훈련 중에 모델은 이러한 잠재 공간 믹스업 샘플을 기반으로 최적화되며, 이는 전역 선형 행동을 장려하고 방어성을 향상시킨다.
• 이 방법은 표준 훈련 파ip라인과 호환되며, 적대적 데이터 생성이나 적대적 손실 항목을 요구하지 않는다.

실험 결과

연구 질문

• RQ1 데이터 다양체의 잠재 공간에서 믹스업 증강을 샘플링하는 것이 표준 믹스업 또는 적대적 훈련보다 더 효과적으로 적대적 방어성을 향상시킬 수 있는가?
• RQ2 VarMixup는 적대적 예제 외에도 자연적 분포 이탈과 입력 오염에 대해 방어성을 향상시킬 수 있는가?
• RQ3 VarMixup로 훈련된 모델은 표준 및 적대적 훈련 기준선 대비 더 나은 校정 성능과 이식성을 확보할 수 있는가?
• RQ4 다양한 벤치마크 데이터셋에서 VarMixup의 성능은 최고 수준의 적대적 훈련 기법과 비교해 어떻게 되는가?
• RQ5 명시적 적대적 데이터 증강 없이도 잠재 공간 보간이 일반화 및 방어성 향상에 얼마나 기여하는가?

주요 결과

• VarMixup는 적대적 훈련 없이도 CIFAR-10, CIFAR-100, SVHN, Tiny-ImageNet에서 최고 수준의 방어 정확도를 달성하며, 기존 AT 방법을 능가한다.
• VarMixup로 훈련된 모델은 다양한 자연적 오염과 변형에 대해 강력한 방어성을 보이며, 적대적 예제 외의 일반화 능력을 시사한다.
• 모델는 낮은 校정 오차를 보이며, 분포 이탈 상황에서도 신뢰도 높은 예측 확률을 제공함을 시사한다.
• VarMixup로 훈련된 모델는 높은 이식성을 보이며, 학습된 표현이 강력하고 일반화 가능한 것을 시사한다.
• 절단 실험 결과 잠재 공간 샘플링 전략이 성능 향상의 핵심 요소임을 확인하였으며, 무작위 또는 픽셀 공간 믹스업은 동일한 성능 향상을 이끌지 못한다.
• 이 방법은 높은 자연 정확도를 유지하면서도 뛰어난 방어성을 확보하여, 방어성과 표준 성능 간의 유리한 트레이드오프를 보여준다.