[논문 리뷰] Information Dropout: Learning Optimal Representations Through Noisy Computation

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|2016. 11. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 15

한 줄 요약

이 논문은 정보 이론에 기반한 노이즈 기반 정규화 방법인 정보 드롭아웃(Information Dropout)을 소개한다. 이 방법은 활성화에 곱셈 노이즈를 주입하여 딥 네ural 네트워크의 표현을 향상시킨다. 이 접근법은 불변성(invariance), 최소성(minimality), 분리성(disentanglement)을 향상시키며, 변분 오토인코더(Variational Autoencoders) 수준의 성능을 달성하고 표준 드롭아웃보다 뛰어나며, 특히 적은 용량의 모델에서 적응형 노이즈 스케일링을 통해 성능 향상을 보인다.

ABSTRACT

The cross-entropy loss commonly used in deep learning is closely related to the defining properties of optimal representations, but does not enforce some of the key properties. We show that this can be solved by adding a regularization term, which is in turn related to injecting multiplicative noise in the activations of a Deep Neural Network, a special case of which is the common practice of dropout. We show that our regularized loss function can be efficiently minimized using Information Dropout, a generalization of dropout rooted in information theoretic principles that automatically adapts to the data and can better exploit architectures of limited capacity. When the task is the reconstruction of the input, we show that our loss function yields a Variational Autoencoder as a special case, thus providing a link between representation learning, information theory and variational inference. Finally, we prove that we can promote the creation of disentangled representations simply by enforcing a factorized prior, a fact that has been observed empirically in recent work. Our experiments validate the theoretical intuitions behind our method, and we find that information dropout achieves a comparable or better generalization performance than binary dropout, especially on smaller models, since it can automatically adapt the noise to the structure of the network, as well as to the test sample.

연구 동기 및 목표

• 정보 이론과 통계적 결정 이론에서의 충분성(sufficiency), 최소성(minimality), 불변성(invariance)을 활용하여 딥 러닝에서 최적의 표현을 수학적으로 정의한다.
• 표준 크로스 엔트로피 학습에서 최소성과 불변성의 명시적 강제 조건이 부족한 문제를 해결하기 위해 곱셈 노이즈와 연결된 정규화 기법을 제안한다.
• 드롭아웃, 변분 추론, 분리성(disentanglement)을 정보 이론적 프레임워크에서 통합한다.
• 적응형 노이즈 주입(정보 드롭아웃)이 일반화 성능을 향상시키며, 특히 저용량 네트워크에서 효과적임을 입증한다.
• 요구된 인과적 사전 확률을 통해 총 상관관계(total correlation)를 최소화함으로써 분리된 표현을 도출함을 보여준다.

제안 방법

• 정보 봉쇄 원리에서 유도된 정규화된 손실 함수를 제안하며, 이 정규화 항은 최소성과 불변성을 강제한다.
• 표준 드롭아웃의 일반화로 정보 드롭아웃을 도입하여, 각 뉴런과 레이어마다 고정된 것이 아니라 적응적으로 학습되는 노이즈 분산을 사용한다.
• 노이즈를 곱셈 형태로 모델링함으로써 기울기 계산 방식을 수정하고, 강건하며 최소적인 표현을 유도한다.
• 재구성 작업일 경우 이 방법이 변분 오토인코더로 축소됨을 보여주며 변분 추론과의 연결 고리를 확립한다.
• 잠재 요소 간에 분리된 사전 확률을 사용하여 총 상관관계를 최소화함으로써 분리성을 촉진한다.
• 정보 이론적 목표를 근사하기 위해 변분 하한(lower bound)을 활용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 충분성, 최소성, 불변성과 같은 정보 이론적 원리들을 활용하여 딥 러닝에서 최적의 표현을 어떻게 수학적으로 정의할 수 있는가?
• RQ2 신경망 활성화에 곱셈 노이즈를 주입함으로써 학습된 표현의 품질, 특히 불변성과 최소성 측면에서 향상될 수 있는가?
• RQ3 정보 드롭아웃, 표준 드롭아웃, 변분 오토인코더 간의 이론적 연결 고리는 무엇인가?
• RQ4 요구된 인과적 사전 확률을 강제하면 어떻게 분리된 표현이 도출되며, 이는 어떻게 수학적으로 정당화할 수 있는가?
• RQ5 정보 드롭아웃은 레이어 간의 정보 흐름을 적응적으로 제어하고 일반화 성능을 향상시킬 수 있는가, 특히 저용량 네트워크에서 그러한가?

주요 결과

• 정보 드롭아웃은 각 레이어와 뉴런마다 적응형 노이즈 스케일링을 통해 표준 이진 드롭아웃보다 더 나은 일반화 성능을 보이며, 특히 작은 모델에서 뚜렷한 성능 향상을 보인다.
• 분리된 사전 확률을 사용할 경우 잠재 표현의 총 상관관계가 감소하여, 실제로 관측된 분리성에 대한 공식적인 정당성을 제공한다.
• 클러터드 MNIST와 MNIST+CIFAR에서의 실험 결과, 정보 드롭아웃은 가림과 부수적 요소에 대한 불변성을 향상시킨다.
• 정보 드롭아웃은 평균 단위 정보 전송량을 측정하여 서로 다른 레이어를 통해 다른 정도의 정보 흐름이 유도됨을 보여준다.
• VAE 벤치마크에서 정보 드롭아웃은 낮은 변분 하한을 가진 가우시안 잠재 변수와 유사한 성능을 달성하며, 효과적인 표현 학습을 가능하게 한다.
• 정보 드롭아웃은 제한된 모델 용량을 보다 효율적으로 활용하는 적응형 정규화 덕분에 저용량 네트워크에서 표준 드롭아웃보다 더 효율적이다.