[논문 리뷰] Analyzing noise in autoencoders and deep networks

Ben Poole, Jascha Sohl‐Dickstein외 1명|arXiv (Cornell University)|2014. 06. 06.

Model Reduction and Neural Networks참고 문헌 4인용 수 68

한 줄 요약

이 논문은 노이즈를 다중 수준—입력, 히든 유닛 입력, 히든 활성화—에 주입함으로써 표현 학습을 향상시키는 통합 프레임워크인 노이즈 자동에코더(NAEs)를 소개한다. 노이즈 유형을 체계적으로 분석한 결과, NAEs는 노이즈 제거 자동에코더보다 노이즈 제거 성능이 뛰어나며, MNIST 및 CIFAR-10에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 가우시안 노이즈와 포아송 노이즈는 표현의 희소성, 상관관계 감소, 정보 전파를 향상시킨다.

ABSTRACT

Autoencoders have emerged as a useful framework for unsupervised learning of internal representations, and a wide variety of apparently conceptually disparate regularization techniques have been proposed to generate useful features. Here we extend existing denoising autoencoders to additionally inject noise before the nonlinearity, and at the hidden unit activations. We show that a wide variety of previous methods, including denoising, contractive, and sparse autoencoders, as well as dropout can be interpreted using this framework. This noise injection framework reaps practical benefits by providing a unified strategy to develop new internal representations by designing the nature of the injected noise. We show that noisy autoencoders outperform denoising autoencoders at the very task of denoising, and are competitive with other single-layer techniques on MNIST, and CIFAR-10. We also show that types of noise other than dropout improve performance in a deep network through sparsifying, decorrelating, and spreading information across representations.

연구 동기 및 목표

• 노이즈 제거, 수축, 희소, 드롭아웃 등의 다양한 정규화 기법을 하나의 노이즈 주입 프레임워크로 통합하는 것.
• 입력, 히든 유닛 입력, 히든 활성화 등 서로 다른 계층에 노이즈를 주입할 경우 표현의 강건성과 일반화 능력 향상 여부를 조사하는 것.
• 기존 드롭아웃 외의 노이즈 유형(예: 가우시안, 포아송)이 비지도 사전 학습 및 지도 미세조정에서 성능을 뛰어나게 하는지 평가하는 것.
• 노이즈가 표현의 희소성, 상관관계 감소, 활성화 분포에 미치는 영향을 이해하는 것.
• 비지도 노이즈 주입과 지도 미세조정 시 노이즈 간의 상호작용이 최적의 딥 네트워크 성능에 미치는 영향을 탐색하는 것.

제안 방법

• 입력 손상(ε_I), 히든 유닛 입력 노이즈(ε_H), 히든 활성화 노이즈(ε_Z)의 세 가지 수준에서 독립적인 노이즈를 주입하는 노이즈 자동에코더(NAE) 모델을 제안하며, 이는 튜플 (ε_I, ε_H, ε_Z)로 파arameter화된다.
• 스토캐스틱이고 노이즈 영향을 받는 연산을 사용하여 인코더 및 재구성 함수를 정의한다: h̃(x) = s_f((W(x ⊙ ε_I) + b) ⊙ ε_Z) ⊙ ε_H 와 r(x) = s_g((W' h̃ + d) ⊙ ε_H), 여기서 ⊙는 원소별 곱셈 또는 덧셈을 의미한다.
• 노이즈 분포에 대해 기대 재구성 오차를 최소화함으로써 NAE를 훈련한다: E[L(x, r(x, ε_I, ε_Z, ε_H))]를 최소화하며, 이는 스토캐스틱 백프로파게이션을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 특정 노이즈 유형을 적분함으로써 NAEs와 이전 방법 간의 분석적 연결을 유도한다: 수축 자동에코더, 희소 자동에코더, 드롭아웃.
• 모멘텀을 사용한 확률적 경사 하강법를 사용하여 MNIST 및 CIFAR-10에서 모델을 훈련하며, 덧셈 가우시안 노이즈, 평균에 비례하는 분산을 가지는 포아송 노이즈, 드롭아웃을 비교한다.
• 비지도 사전 학습과의 상호작용을 평가하기 위해 노이즈 주입을 포함한 지도 미세조정을 적용한다.

실험 결과

연구 질문

• RQ1 자동에코더의 다중 수준에 노이즈를 주입함으로써 기존의 정규화 기법들인 노이즈 제거, 수축, 희소, 드롭아웃 자동에코더를 통합하고 일반화할 수 있는가?
• RQ2 드롭아웃 외의 노이즈 유형(예: 덧셈 가우시안 또는 포아송)이 기존 드롭아웃보다 표현 품질과 분류 정확도를 향상시키는가?
• RQ3 노이즈 주입이 학습된 표현의 핵심 특성, 예를 들어 희소성, 상관관계 감소, 활성화 스펙트럼에 미치는 영향은 어떠한가?
• RQ4 노이즈 자동에코더는 노이즈 제거 자체의 작업에서 노이즈 제거 자동에코더를 능가하는가?
• RQ5 비지도 노이즈 주입과 지도 미세조정 노이즈 간의 상호작용이 최종 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• 노이즈 자동에코더는 표준 노이즈 제거 자동에코더보다 노이즈 제거 작업에서 성능이 뛰어나며, 입력 수준의 손상 외에도 다중 수준 노이즈 주입이 강건성을 향상시킨다는 것을 입증한다.
• MNIST에서 덧셈 가우시안 노이즈를 사용한 최고의 NAE는 85개의 테스트 오류를 기록하여 드롭아웃(96개 오류)과 매axout 네트워크(96개 오류)를 모두 능가했으며, 단일 레이어 사전 학습 모델 중 최고의 성능을 기록했다.
• 포아송 노이즈 변형은 92개의 테스트 오류를 기록하여, 활성화 평균에 비례하는 분산을 가지는 노이즈도 성능 향상에 기여하지만, 가우시안 노이즈만큼 효과적이지는 않았다.
• 가우시안 노이즈는 두 번째 레이어 표현의 희소성을 가장 높였으며, 드롭아웃은 첫 번째 레이어에서 가장 높은 희소성을 유도했으며, 수명 주기 및 인구 희소성 지표 모두에서 동일한 경향을 보였다.
• 모든 노이즈 유형이 노이즈가 없는 네트워크에 비해 희소성과 활성화의 상관관계 감소를 증가시켰으며, 노이즈가 주입된 네트워크는 더 평탄한 활성화 스펙트럼을 보여, 정보 분포가 더 균일하다는 것을 시사한다.
• 결과는 노이즈 주입이 서로 다른 클래스의 표현 간 효과적인 밀도를 증가시키고, 같은 클래스의 점들을 압축함으로써 일반화 능력을 향상시킨다는 것을 시사한다.