[논문 리뷰] Information Dropout: learning optimal representations through noise

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|2017. 04. 24.

Domain Adaptation and Few-Shot Learning인용 수 20

한 줄 요약

이 논문은 정보 볼테지스 원리에 기반한 노이즈 주입 방법인 정보 드롭아웃(Information Dropout)을 제안하며, 숨겨진 활성화를 적응적으로 정규화하여 표현 학습을 향상시킨다. 기존 드롭아웃 변종을 일반화하고, 방해 요소에 강인한 표현을 학습하며, 재구성 작업에서 변분 오토에코더를 복원하여 특히 소형 모델에서 이진 드롭아웃보다 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce Information Dropout, a generalization of dropout that is motivated by the Information Bottleneck principle and highlights the way in which injecting noise in the activations can help in learning optimal representations of the data. Information Dropout is rooted in information theoretic principles, it includes as special cases several existing dropout methods, like Gaussian Dropout and Variational Dropout, and, unlike classical dropout, it can learn and build representations that are invariant to nuisances of the data, like occlusions and clutter. When the task is the reconstruction of the input, we show that the information dropout method yields a variational autoencoder as a special case, thus providing a link between representation learning, information theory and variational inference. Our experiments validate the theoretical intuitions behind our method, and we find that information dropout achieves a comparable or better generalization performance than binary dropout, especially on smaller models, since it can automatically adapt the noise to the structure of the network, as well as to the test sample.

연구 동기 및 목표

• 정보 이론에 뿌리를 두고 표현 학습을 향상시키는 원리적인 드롭아웃 방법을 개발하는 것.
• 모델이 데이터의 방해 요소(예: 가림, 혼잡함 등)에 불변한 표현을 학습할 수 있도록 하는 것.
• 기존 드롭아웃 방법들을 공통적인 정보 이론적 프레임워크 아래 통합하는 것.
• 표현 학습, 정보 이론, 변분 추론 간의 연결 고리를 설정하는 것.
• 특히 데이터가 적거나 모델이 작은 경우의 일반화 성능 향상을 입증하는 것.

제안 방법

• 정보 드롭아웃은 정보 이론 원리, 특히 정보 볼테지스 방법에 기반해 숨겨진 활성화에 노이즈를 주입한다.
• 최적화 목표를 입력과 표현 간 상호정보량을 최소화하면서도 작업에 관련된 정보는 유지하는 방식으로 설정한다.
• 각 레이어와 샘플별로 최적의 노이즈 분포를 학습함으로써 가우시안 드롭아웃과 변분 드롭아웃을 일반화한다.
• 표현에 대한 사후분포의 변분 근사를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 노이즈 스케줄링은 네트워크 구조와 입력 데이터에 따라 적응적으로 결정되어 동적 정규화를 가능하게 한다.
• 재구성 과정에서는 정보 드롭아웃이 변분 오토에코더로 축소되어 생성 모델링과 연결된다.

실험 결과

연구 질문

• RQ1 정보 이론에 기반한 노이즈 주입이 딥 네트워크의 표현 학습을 향상시킬 수 있는가?
• RQ2 정보 드롭아웃은 가림이나 혼잡함과 같은 데이터 방해 요소에 대해 불변한 표현을 학습하는가?
• RQ3 일반화 성능 측면에서 정보 드롭아웃은 이진 드롭아웃, 가우시안 드롭아웃, 변분 드롭아웃과 비교해 어떻게 다를까?
• RQ4 재구성 과제에서 정보 드롭아웃은 변분 오토에코더와 같은 기존 모델을 복원할 수 있는가?
• RQ5 적응형 노이즈 스케줄링은 데이터가 적거나 모델이 작은 경우 성능 향상에 기여하는가?

주요 결과

• 정보 드롭아웃은 특히 소형 모델에서 이진 드롭아웃과 비교해 유사하거나 더 뛰어난 일반화 성능을 달성한다.
• 이 방법은 가림이나 혼잡함과 같은 데이터 방해 요소에 대해 불변한 표현을 학습하여 강인성을 향상시킨다.
• 입력 재구성 과제에서 정보 드롭아웃은 변분 오토에코더로 축소되어 이론적 일관성을 확인한다.
• 적응형 노이즈 스케줄링 덕분에 모델이 입력과 네트워크 구조에 맞게 정규화를 맞춤형으로 조정할 수 있어 학습 효율성이 향상된다.
• 실험을 통해 이론적 기반을 검증하였으며, 정보 이론에 기반한 노이즈 주입이 더 강인하고 일반화 가능한 표현을 이끌어낸다.