[논문 리뷰] A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|2015. 12. 16.

Topic Modeling참고 문헌 29인용 수 782

한 줄 요약

이 논문은 베이지안 신경망에서 변분 추론으로서 드롭아웃을 해석함으로써 순환 신경망(RNN)을 위한 이론적으로 타당한 드롭아웃 변종을 제안한다. 입력, 출력, 순환 연결에 대해 모든 시점에서 동일한 드롭아웃 마스크를 적용함으로써, 이 방법은 학습을 안정화시키고 과적합을 줄이며, 단일 모델로 펜 트리뱅크 언어 모델링 작업에서 73.4의 새로운 최고 성능 퍼플렉서티를 달 đạt한다.

ABSTRACT

Recurrent neural networks (RNNs) stand at the forefront of many recent developments in deep learning. Yet a major difficulty with these models is their tendency to overfit, with dropout shown to fail when applied to recurrent layers. Recent results at the intersection of Bayesian modelling and deep learning offer a Bayesian interpretation of common deep learning techniques such as dropout. This grounding of dropout in approximate Bayesian inference suggests an extension of the theoretical results, offering insights into the use of dropout with RNN models. We apply this new variational inference based dropout technique in LSTM and GRU models, assessing it on language modelling and sentiment analysis tasks. The new approach outperforms existing techniques, and to the best of our knowledge improves on the single model state-of-the-art in language modelling with the Penn Treebank (73.4 test perplexity). This extends our arsenal of variational tools in deep learning.

연구 동기 및 목표

• 제한된 훈련 데이터에서 지속적인 과적합 문제를 해결하기 위해.
• 긴 시퀀스에서 신호 증폭으로 인해 표준 드롭아웃이 순환 레이어에서 오랫동안 실패하는 이유를 해결하기 위해.
• 변분 추론 및 베이지안 딥 러닝 원리를 사용하여 RNN에서 드롭아웃의 이론적으로 타당한 확장 제공하기 위해.
• 언어 모델링 및 감성 분석 작업에서 제안된 방법의 실증적 검증을 위해.
• 시간 단계 전반에 걸쳐 일관된 드롭아웃 적용, 특히 순환 연결에 대해 적용함으로써 모델의 강인성과 성능 향상을 입증하기 위해.

제안 방법

• 베이지안 신경망에서 네트워크 가중치의 사후 분포에 대한 변분 근사로 드롭아웃을 해석하기 위해.
• 표준 드롭아웃이 각 시점마다 독립적인 마스크를 사용하는 것과는 달리, 입력, 출력 및 순환 연결에 대해 모든 시점에서 동일한 드롭아웃 마스크를 적용하기 위해.
• 가중치 불확실성을 포함하는 확률적 모델로 RNN을 설정하여, 변분 추론을 통한 근사 베이지안 추론을 가능하게 하기 위해.
• 제안된 드롭아웃 변종에 해당하는 계산이 용이한 변분 하한(ELBO)을 최적화함으로써 엔드 투 엔드 학습을 가능하게 하기 위해.
• 입력 및 출력 레이어뿐 아니라 순환 가중치에도 드롭아웃을 도입하고, 임bedding 레이어와 순환 레이어에 대해 별도의 드롭아웃 확률을 설정하기 위해.
• 불확실성 추정 및 일반화 향상을 위해 테스트 시점에 몬테카를로 드롭아웃을 사용하기 위해.

실험 결과

연구 질문

• RQ1 베이지안 변분 추론에 기반할 경우, RNN의 순환 레이어에 드롭아웃을 성공적으로 적용할 수 있는가?
• RQ2 표준 드롭아웃이 RNN에서 실패하는 이유는 무엇이며, 이론적으로 타당한 변종이 이를 극복할 수 있는가?
• RQ3 모든 시점에 동일한 드롭아웃 마스크를 적용함으로써 학습 안정성과 과적합 감소가 RNN에서 달성되는가?
• RQ4 임베딩 레이어와 순환 레이어에 적용된 서로 다른 드롭아웃 비율이 모델 성능과 일반화에 공동으로 영향을 미치는가?
• RQ5 이 방법은 펜 트리뱅크와 같은 표준 NLP 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 시간 단계 전반에 걸쳐 일관된 드롭아웃을 적용한 제안된 변분 RNN은 단일 모델로 펜 트리뱅크 언어 모델링 작업에서 73.4의 새로운 최고 성능 퍼플렉서티를 달성한다.
• 이 방법은 언어 모델링 및 감성 분석 작업 모두에서 표준 RNN, 단순 드롭아웃 변종, 조기 정지 기법보다 뛰어난 성능을 보인다.
• 과적합이 크게 감소하였으며, 변분 LSTM는 표준 모델이 불안정한 테스트 오차 변동을 보이는 것과는 달리 안정적인 수렴과 가장 낮은 테스트 오차를 보였다.
• 순환 레이어 드롭아웃 비율이 높을 경우, 임베딩 드롭아웃이 과적합 방지에 필수적임을 확인하였으며, 정규화되지 않은 임베딩이 모델 행동를 지배할 수 있기 때문이다.
• 가중치 감소는 제안된 방법에서도 여전히 효과적이고 중요하며, 표준 드롭아웃 설정에서는 이를 제거하는 일반적인 관행과 대조된다.
• 변분 GRU 모델도 표준 모델 및 단순 드롭아웃 변종 대비 개선된 강인성과 낮은 테스트 오차를 보였으며, 이는 이 방법이 다양한 RNN 아키텍처에 일반화 가능함을 확인한다.