[논문 리뷰] Virtual Adversarial Ladder Networks For Semi-supervised Learning

Saki Shinoda, Daniel E. Worrall외 1명|arXiv (Cornell University)|2017. 11. 20.

Anomaly Detection Techniques and Applications참고 문헌 7인용 수 4

한 줄 요약

이 논문은 래퍼 네트워크와 계층별 가상의 대비 훈련을 융합하여 정확도와 내성 강도를 향상시키는 준지도 학습 모델인 가상 대비 래퍼 네트워크(LVAN-LW)를 제안한다. 중간 잠재 공간에 대비 노이즈를 적용함으로써, 1개 클래스당 5개의 레이블만으로도 MNIST에서 1.42%±0.12의 오차율을 달성하며, 기준 모델보다 대비 예측에 훨씬 뛰어난 성능을 보인다.

ABSTRACT

Semi-supervised learning (SSL) partially circumvents the high cost of labeling data by augmenting a small labeled dataset with a large and relatively cheap unlabeled dataset drawn from the same distribution. This paper offers a novel interpretation of two deep learning-based SSL approaches, ladder networks and virtual adversarial training (VAT), as applying distributional smoothing to their respective latent spaces. We propose a class of models that fuse these approaches. We achieve near-supervised accuracy with high consistency on the MNIST dataset using just 5 labels per class: our best model, ladder with layer-wise virtual adversarial noise (LVAN-LW), achieves 1.42% +/- 0.12 average error rate on the MNIST test set, in comparison with 1.62% +/- 0.65 reported for the ladder network. On adversarial examples generated with L2-normalized fast gradient method, LVAN-LW trained with 5 examples per class achieves average error rate 2.4% +/- 0.3 compared to 68.6% +/- 6.5 for the ladder network and 9.9% +/- 7.5 for VAT.

연구 동기 및 목표

• 잠재 공간에서의 분포 스무딩을 공통된 해석으로 통합함으로써 래퍼 네트워크와 가상의 대비 훈련(VAT)을 융합하여 준지도 학습 성능을 향상시키는 것.
• 깊은 학습에서 레이블이 제한된 데이터 문제를 해결하기 위해 최소한의 감독 하에 모델의 일반화 능력과 내성 강도를 향상시키는 것.
• VAT의 대비 정규화가 래퍼 네트워크 성능을 향상시킬 수 있는지, 특히 저샘플 설정에서 어떤 영향을 미치는지 조사하는 것.
• 특히 $L_2$-정규화 및 $L_∞$-노름 편향에 대한 대비 공격에 대한 모델의 내성 강도를 평가하는 것.
• 준지도 학습 모델에서 입력 공간과 중간 잠재 공간 스무딩 간의 상호 상충 관계를 탐색하는 것.

제안 방법

• 래퍼 네트워크와 VAT를 각각 잠재 공간에 등방향 및 이방향 분포 스무딩을 적용하는 새로운 해석을 제안한다.
• 사용자 정의된 네 가지 변형을 도입한다: LVAC(가상 대비 손실), LVAC-LW(계층별 손실), LVAN(가상 대비 노이즈 주입), LVAN-LW(계층별 노이즈 주입).
• 비지도 손실의 최대 곡률 방향으로 가상의 대비 편향을 적용하여 잠재 표현의 局부 스무딩을 강제한다.
• 에코더 경로에 계층별 가상 대비 노이즈(LVAN-LW)를 주입하여 추가적인 전방 전파 없이도 내성 강도를 향상시킨다.
• 각 계층에서 지도형 교차 엔트로피 손실, 노이즈 제거 복원 손실(ladder), 가상 대비 손실(VAT)의 조합을 사용하여 모델을 훈련한다.
• 내성 강도 평가를 위해 $L_2$-정규화된 빠른 기울기 방법을 사용하여 대비 예측을 생성한다.

실험 결과

연구 질문

• RQ1 가상의 대비 훈련이 저레이블 환경에서 래퍼 네트워크의 준지도 학습 성능을 향상시킬 수 있는가?
• RQ2 전역 대비 손실 대비 계층별 가상 대비 노이즈 주입이 일반화 능력과 내성 강도에 어떤 영향을 미치는가?
• RQ3 래퍼 네트워크와 VAT를 융합하면 특히 $L_2$-정규화된 편향에서 대비 예측에 대한 내성 강도가 향상되는가?
• RQ4 모델 정확도와 안정성 측면에서 입력 공간 스무딩과 중간 잠재 공간 스무딩 간의 상충 관계는 어떠한가?
• RQ5 1개 클래스당 5~10개의 레이블만으로 훈련되었을 때, 제안된 모델은 기준 모델 대비 오차율과 일관성 측면에서 어떻게 비교되는가?

주요 결과

• LVAN-LW 모델은 1개 클래스당 5개의 레이블만으로도 MNIST에서 테스트 오차율 1.42%±0.12를 달성하며, 표준 래퍼 네트워크(1.62%±0.65)를 뛰어넘는다.
• $L_2$-정규화된 대비 예측에서 LVAN-LW는 1개 클래스당 5개의 레이블로 2.4%±0.3의 오차율을 기록했으며, 래퍼 네트워크는 68.6%±6.5, VAT는 9.9%±7.5를 기록한다.
• LVAN-LW는 $L_1$ 및 $L_2$-정규화된 대비 예측에서 특히 저샘플 설정(1개 클래스당 50개 및 100개 레이블)에서 뛰어난 성능을 보인다.
• LVAN-LW는 비용 기반 변형(LVAC-LW)보다 더 빠르고 안정적인 성능을 보이며, 전방 전파 횟수가 적기 때문이다.
• 가상 대비 손실 지표는 LVAN 및 LVAN-LW가 LVAC 및 LVAC-LW보다 입력 공간에서 더 스무딩되어 있음을 확인하며, 효과적인 局부 스무딩을 의미한다.
• 성능 향상은 특히 레이블 수가 적은 설정(50개 및 100개 레이블)에서 가장 두드러지며, 이는 VAT 정규화가 과제가 어려울수록 더 유익함을 시사한다.