[논문 리뷰] Understanding Dropout: Training Multi-Layer Perceptrons with Auxiliary Independent Stochastic Neurons

Kyunghyun Cho|arXiv (Cornell University)|2013. 06. 12.

Neural Networks and Applications참고 문헌 11인용 수 3

한 줄 요약

이 논문은 다층퍼셉트론(MLP)을 훈련하기 위한 일반적인 프레임워크를 제안하며, 각 은닉 뉴런에 보조 스토케스틱 뉴런을 추가함으로써 드롭아웃, 명시적 노이즈 주입, 의미 해싱을 특수 케이스로 통합한다. 이 방법은 각 레이어별 별도의 드롭아웃 확률을 허용하며, 실험 결과는 이러한 확률을 조정할 경우 일반화 성능 향상이 가능함을 보여주며, 레이어당 최적의 성능는 약 0.5에 근접하고 극단적인 경우 성능 저하가 발생한다.

ABSTRACT

In this paper, a simple, general method of adding auxiliary stochastic neurons to a multi-layer perceptron is proposed. It is shown that the proposed method is a generalization of recently successful methods of dropout (Hinton et al., 2012), explicit noise injection (Vincent et al., 2010; Bishop, 1995) and semantic hashing (Salakhutdinov & Hinton, 2009). Under the proposed framework, an extension of dropout which allows using separate dropping probabilities for different hidden neurons, or layers, is found to be available. The use of different dropping probabilities for hidden layers separately is empirically investigated.

연구 동기 및 목표

• 다양한 정규화 기법—드롭아웃, 명시적 노이즈 주입, 의미 해싱—을 단일 일반화 가능한 프레임워크로 통합하여 다층퍼셉트론을 훈련하는 것.
• 각 은닉 레이어나 뉴런에 대해 다른 드롭아웃 확률을 허용함으로써 표준 드롭아웃 접근 방식을 초월한 융통성 있는 정규화를 가능하게 하는 것.
• 학습 알고리즘을 수정하지 않고도 MLP에 스토케스틱성을 주입할 수 있는 실용적이고 백프로파게이션 호환 방법을 제공하는 것.
• 레이어별로 다른 드롭아웃 확률 또는 은닉 레이어에서의 노이즈 주입이 표준 방법 대비 일반화 성능 향상에 기여하는지 실험적으로 조사하는 것.

제안 방법

• 각 은닉 뉴런에 독립적인 보조 스토케스틱 뉴런을 추가하여 증강시키며, 이는 사전 정의된 확률 분포에 따라 활성화된다.
• 각 보조 뉴런에서 해당 은닉 뉴런으로의 가중치를 일정한 값(예: 드롭아웃의 경우 무한대의 음수)으로 고정하여 훈련 중에 학습되지 않도록 한다.
• 표준 백프로파게이션을 사용하여 파라미터를 학습하며, 순전파 단계에서 스토케스틱 활성화 값을 샘플링한다.
• 비선형 활성화 함수의 선형화를 통해 기댓값을 계산하고 기댓값 연산자를 보조 뉴런으로 내려보내 예측을 수행한다.
• 기존 방법들을 특수 케이스로 재구성한다: 드롭아웃은 베르누이 분포를 가지며 가중치가 무한대인 보조 뉴런을 통해; 노이즈 주입은 가우시안 분포를 가지는 뉴런을 통해; 의미 해싱은 버블러스트 레이어에서 화이트 가우시안 노이즈를 통해.
• 각 레이어의 보조 뉴런을 별도로 처리함으로써 각 레이어별 별도의 드롭아웃 확률을 허용하여 정 fine-tuned 정규화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 드롭아웃, 명시적 노이즈 주입, 의미 해싱이 다층퍼셉트론 훈련을 위한 단일 프레임워크로 통합될 수 있는가?
• RQ2 다른 은닉 레이어에 대해 다른 드롭아웃 확률을 허용할 경우, 균일한 드롭아웃 대비 일반화 성능 향상이 이루어지는가?
• RQ3 입력 뿐 아니라 은닉 레이어에서도 화이트 가우시안 노이즈를 주입할 경우 일반화 성능 향상이 이루어지는가?
• RQ4 극단적인 드롭아웃 확률(0 또는 1에 가까운 값)이 첫 번째 레이어에 영향을 미치는지, 특히 첫 번째 레이어에서 성능에 어떤 영향을 미치는가?
• RQ5 다른 레이어에 주입되는 노이즈 수준이 MLP의 테스트 정확도와 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 드롭아웃, 명시적 노이즈 주입, 의미 해싱을 특수 케이스로 일반화하여 이러한 정규화 기법들을 통합적인 시각으로 제공한다.
• 다른 은닉 레이어에 대해 별도의 드롭아웃 확률를 사용할 경우 일반화 성능 향상이 이루어지며, 각 레이어에서 확률가 약 0.5에 가까울 때 최적의 성능를 기록한다.
• 첫 번째 은닉 레이어에서 매우 낮거나 높은 드롭아웃 확률(0 또는 1에 가까운 값)은 두 번째 레이어의 확률과 관계없이 성능을 심각하게 떨어뜨린다.
• 첫 번째 은닉 레이어에 노이즈를 주입하는 것은 일반화 성능 향상에 강력한 긍정적 영향을 미치며, 두 번째 레이어와 같은 상위 레이어에 노이즈를 주입할 경우 입력 전용 노이즈보다 성능이 더 향상된다.
• 두 번째 은닉 레이어의 드롭아웃 확률이 너무 낮을 경우 성능이 떨어지며, 깊은 레이어에서의 과도한 정규화가 학습에 악영향을 준다는 것을 시사한다.
• 실험 결과는 보조 스토케스틱 뉴런의 철저한 튜닝—예를 들어 레이어별 드롭아웃 확률 또는 노이즈 수준 조정—이 표준 균일 드롭아웃보다 더 좋은 일반화 성능을 낼 수 있음을 시사한다.