[논문 리뷰] Meta Dropout: Learning to Perturb Features for Generalization

Haebeom Lee, Taewook Nam외 2명|arXiv (Cornell University)|2019. 05. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 4

한 줄 요약

이 논문은 소수 샘플 학습에서 일반화 성능을 향상시키기 위해 입력에 따라 변하는 노이즈 생성기를 학습시켜 잠재 특징을 교란하는 메타러닝 기반 정규화 방법인 Meta-Dropout을 제안한다. 입력 맥락에 따라 특징을 적응적으로 교란함으로써, Omniglot 및 miniImageNet 벤치마크에서 기존 방법들인 manifold mixup와 information dropout보다 뚜렷이 뛰어난 성능을 기록한다.

ABSTRACT

A machine learning model that generalizes well should obtain low errors on unseen test examples. Thus, if we know how to optimally perturb training examples to account for test examples, we may achieve better generalization performance. However, obtaining such perturbation is not possible in standard machine learning frameworks as the distribution of the test data is unknown. To tackle this challenge, we propose a novel regularization method, meta-dropout, which learns to perturb the latent features of training examples for generalization in a meta-learning framework. Specifically, we meta-learn a noise generator which outputs a multiplicative noise distribution for latent features, to obtain low errors on the test instances in an input-dependent manner. Then, the learned noise generator can perturb the training examples of unseen tasks at the meta-test time for improved generalization. We validate our method on few-shot classification datasets, whose results show that it significantly improves the generalization performance of the base model, and largely outperforms existing regularization methods such as information bottleneck, manifold mixup, and information dropout.

연구 동기 및 목표

• 학습 중에 테스트 데이터 분포가 알려지지 않은 상황에서 모델의 일반화 성능 향상을 해결하기 위해.
• 메타학습 과정에서 최적의 잠재 특징 교란을 학습함으로써 테스트 손실을 명시적으로 최소화하는 정규화 방법을 개발하기 위해.
• 소수 샘플 학습에서 미리 보지 않은 작업에 적응할 수 있는 이식 가능하고 입력 기반의 노이즈 생성을 가능하게 하기 위해.
• 정보 버블링, manifold mixup, information dropout와 같은 기존 정규화 기법들을 능가하기 위해.
• 이 방법을 변동형 추론 프레임워크 내에서 메타러닝으로 해석하는 확률적 해석을 제공하기 위해.

제안 방법

• 하위 레이어의 입력 기반 특징을 바탕으로 잠재 특징에 대한 곱셈형 노이즈 분포를 생성하는 노이즈 생성기를 메타러닝을 사용해 학습한다.
• 랜덤한 훈련/테스트 분할을 가진 다수의 작업을 고려해 기대 테스트 손실을 최소화하는 메타러닝 목적함수를 통해 노이즈 생성기를 종합적으로 학습한다.
• 학습 중에 노이즈는 입력 특징에 따라 적응적인 입력 기반의 스토케스틱 곱셈형 교란으로 적용되며, 이는 입력 기반의 적응형 특징 교란을 가능하게 한다.
• 이 프레임워크는 그래픽 모델에 대한 변동형 추론 과정을 메타러닝하는 것으로 해석되며, 노이즈 생성기는 사후 근사값으로 작용한다.
• MAML 기반의 소수 샘플 학습 프레임워크 내에서 적용되며, 내부 루프와 외부 루프 최적화를 함께 사용해 노이즈 생성기를 학습한다.
• 노이즈 생성기는 고정된 분산(예: 항등행렬)을 사용하지만, 입력 특징에 조건부로 작동하여 적응형이며 이식 가능한 교란을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타러닝 기반의 입력 기반 노이즈 생성기는 기존 정규화 기법을 초월해 소수 샘플 학습에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 입력 기반 노이즈는 고정되거나 입력에 독립적인 노이즈와 비교해 일반화 성능에서 어떤 차이를 보이는가?
• RQ3 메타러닝된 교란은 그래픽 모델 내에서 변동형 추론의 한 형태로 해석될 수 있는가?
• RQ4 기본 모델 대비 Meta-Dropout은 적대적 공격에 대해 더 뛰어난 강건성을 보이는가?
• RQ5 Meta-Dropout의 성능는 manifold mixup와 information dropout과 같은 최신 정규화 기법과 비교해 어떻게 되는가?

주요 결과

• Omniglot 1-shot (ℓ₁)에서 Meta-Dropout은 96.63%의 정확도를 기록했으며, MAML 및 기타 베이스라인보다 뚜렷이 뛰어나다.
• Omniglot 5-shot (ℓ∞)에서 Meta-Dropout은 67.42%의 정확도를 달성했으며, 다음으로 좋은 성능을 보인 방법보다 4个百分点 이상 높다.
• 입력 기반 노이즈를 사용한 방법은 고정된 가우시안, 독립적 가우시안, 가중치 학습 가우시안 베이스라인을 모두 일관되게 능가하며, 입력 기반 교란의 중요성을 입증한다.
• 고정된 분산을 사용한 Meta-Dropout은 분산을 적응적으로 학습하는 변형보다 성능이 뛰어나, 고정된 노이즈 크기가 일반화에 더 효과적임을 시사한다.
• 제거 실험을 통해 결정적 성분(학습된 스케일링)과 확률적 성분(노이즈 주입)이 모두 필수적임을 확인했으며, 이 둘의 조합이 가장 뛰어난 성능을 낸다.
• Meta-Dropout은 적대적 공격에 대해 향상된 강건성을 보이며, PGD 공격 하에서도 표준 MAML 및 기타 베이스라인 대비 더 높은 정확도를 유지한다.