[논문 리뷰] Distributional Smoothing by Virtual Adversarial Examples

Takeru Miyato, Shin‐ichi Maeda외 3명|arXiv (Cornell University)|2015. 01. 01.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 레이블 없이 소수의 미라벨링된 입력 변형에 대한 모델의 강건성을 최적화하여 국소 분포 부드러움(LDS)을 강제하는 가상의 적대적 훈련(VAT)이라는 준지도 학습 방법을 소개한다. VAT는 최소한의 계산 오버헤드로 MNIST, SVHN, NORB에서 최신 기준 성능을 달성한다. 이는 모델의 출력 분포에만 기반한 기울기 기반 변형을 활용하여 구현된다.

ABSTRACT

We propose local distributional smoothness (LDS), a new notion of smoothness for statistical model that can be used as a regularization term to promote the smoothness of the model distribution. We named the LDS based regularization as virtual adversarial training (VAT). The LDS of a model at an input datapoint is defined as the KL-divergence based robustness of the model distribution against local perturbation around the datapoint. VAT resembles adversarial training, but distinguishes itself in that it determines the adversarial direction from the model distribution alone without using the label information, making it applicable to semi-supervised learning. The computational cost for VAT is relatively low. For neural network, the approximated gradient of the LDS can be computed with no more than three pairs of forward and back propagations. When we applied our technique to supervised and semi-supervised learning for the MNIST dataset, it outperformed all the training methods other than the current state of the art method, which is based on a highly advanced generative model. We also applied our method to SVHN and NORB, and confirmed our method's superior performance over the current state of the art semi-supervised method applied to these datasets.

연구 동기 및 목표

• 레이블 정보에 의존하지 않고 국소 분포 부드러움을 강제하여 모델의 일반화 성능을 향상시키는 정규화 기법을 개발하는 것.
• 소수의 레이블이 없는 데이터를 활용해 작은 입력 변형에 대한 강건성을 통해 효과적인 준지도 학습을 가능하게 하는 것.
• 기존의 높은 성능을 유지하면서도 계산 비용이 적은 훈련 방법을 설계하는 것.
• 기존의 준지도 및 지도 학습 기반 기준 대비 레이블 없는 적대적 훈련의 우수성을 입증하는 것.

제안 방법

• 국소 분포 부드러움(LDS)을 정의하며, 이는 모델의 출력 분포와 소수의 입력 변형 이후의 출력 분포 간의 KL 발산으로 정의된다.
• 레이블에 의존하지 않고 모델의 자체 출력 분포를 활용해 가장 불안정한 변형 방향을 결정한다.
• 최대 세 번의 순방향 및 역방향 전파를 사용하여 LDS의 근사 기울기를 계산한다.
• 훈련 중에 레이블이 없는 데이터에 적대적 변형을 적용하여 모델의 출력 분포를 정규화한다.
• 지도 학습 및 준지도 학습 모두에 대해 LDS 정규화 항을 손실 함수에 통합한다.
• 두 단계 최적화를 수행한다: 먼저 악성 변형 방향을 찾고, 그 다음에 해당 방향에서 발생하는 KL 발산을 최소화한다.

실험 결과

연구 질문

• RQ1 국소 분포 부드러움을 강제하면 준지도 학습에서 모델의 일반화 성능이 향상되는가?
• RQ2 표준 비전 벤치마크에서 레이블 없는 적대적 훈련이 지도 및 준지도 기반 기준과 비교해 어떻게 성능을 내는가?
• RQ3 기존의 적대적 훈련과 비교해 분포 부드러움을 적용한 훈련의 계산 비용은 얼마나 되는가?
• RQ4 제안된 방법은 최신의 생성 모델 수준의 성능을 달성할 수 있는가?

주요 결과

• MNIST 데이터셋에서 VAT는 현재 최고 성능을 기록한 고도로 발전된 생성 모델 기반 방법을 제외한 모든 방법보다 뛰어난 성능을 보였다.
• SVHN 및 NORB에서 VAT는 당시 최고의 준지도 학습 방법을 초월했다.
• 업데이트당 최대 세 번의 순방향 및 역방향 전파로만 이루어져, 낮은 계산 오버헤드를 나타냈다.
• 레이블 없는 적대적 훈련을 통해 입력 변형에 대한 모델의 강건성이 효과적으로 향상되었다.
• MNIST, SVHN, NORB를 포함한 여러 데이터셋에서 잘 일반화되어 있어 광범위한 적용 가능성을 입증했다.