[논문 리뷰] Recurrent Neural Network Regularization

Wojciech Zaremba, Ilya Sutskever외 1명|arXiv (Cornell University)|2014. 09. 08.

Neural Networks and Applications참고 문헌 32인용 수 2,276

한 줄 요약

이 논문은 비순환 연결에만 드롭아웃을 적용하는 LSTM용 드롭아웃 기반 정규화 방법을 도입하여 언어 모델링, 음성 인식, 번역 및 이미지 캡션 생성 작업에서 과적합을 크게 감소시킨다.

ABSTRACT

We present a simple regularization technique for Recurrent Neural Networks (RNNs) with Long Short-Term Memory (LSTM) units. Dropout, the most successful technique for regularizing neural networks, does not work well with RNNs and LSTMs. In this paper, we show how to correctly apply dropout to LSTMs, and show that it substantially reduces overfitting on a variety of tasks. These tasks include language modeling, speech recognition, image caption generation, and machine translation.

연구 동기 및 목표

• 순환 신경망에서 과적합을 방지하기 위한 정규화의 필요성을 제시한다.
• 순환 연결에 드롭아웃을 적용하지 않음으로써 LSTM의 기억 능력을 해치지 않는 드롭아웃 방법을 제안한다.
• 다양한 도메인(언어 모델링, 음성 인식, 기계 번역, 이미지 캡션 생성)에 걸친 방법의 효과를 입증한다.
• 실용적인 지침(드롭아웃 확률)을 제공하고 비정규화 기준선 대비 실험적 이득을 보고한다.

제안 방법

• LSTM 기반 RNN에서 비순환 연결에만 드롭아웃을 적용한다.
• 입력-은닉 경로에 드롭아웃 연산자 D를 사용하되 순환 연결은 손상시키지 않는다.
• 표준 게이트(i, f, o, g)로 LSTM 역학을 기술하고 입력 경로에 드롭아웃이 어떻게 통합되는지 보여준다: [i f o g] = [sigm sigm sigm tanh] T_{2n,4n} [D(h^{l-1}_{t}); h^{l}_{t-1}].
• 순환 연결에 드롭아웃을 적용하지 않아 장기 기억을 유지하고 정보가 여러 시점에 걸쳐 흐를 수 있도록 한다.
• 실험 구성 두 가지를 제시한다: 중간형(레이어당 650유닛, 드롭아웃 50%)과 대형(레이어당 1500유닛, 드롭아웃 65%).
• 학습 세부사항(에포크 수, 학습률 스케줄, 그래디언트 클리핑)을 보고하고 비정규화 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 비순환 연결에만 드롭아웃을 적용하는 것이 LSTM의 기억 능력을 보존하면서 정규화 이점을 제공하는가?
• RQ2 LSTM 드롭아웃이 언어 모델링, 음성 인식, 기계 번역, 이미지 캡션 생성에서 성능에 어떻게 영향을 미치는가?
• RQ3 중간형 및 대형 LSTM 구성에서 어떤 드롭아웃 비율이 최상의 일반화 성능을 보이는가?

주요 결과

• PTB의 언어 모델링에서 중간 정규화 LSTM은 86.2 (val) 및 82.7 (test) perplexity를 달성; 대형 정규화 LSTM은 82.2 (val) 및 78.4 (test)
• +14–18 포인트의 개선은 모델 크기에 따라 비정규화 기준선 대비 발생한다.
• 음성 인식(아이슬란드 데이터세트)에서 정규화 LSTM은 검증 프레임 정확도를 70.5로 향상시키고 68.9에서 상승(훈련 정확도는 69.4로 감소)
• 영어→프랑스어, WMT’14에서 정규화 LSTM은 perplexity 5.0와 BLEU 29.03를 달성하여 비정규화 LSTM( perplexity 5.8, BLEU 25.9)보다 우수하다.
• MSCOCO의 이미지 캡션 생성에서 정규화 모델은 perplexity 7.99와 BLEU 24.3을 보이고 비정규화는 8.47 및 23.5; 비정규화 모델 10개 앙상블은 유사한 이득(BLEU 24.4)을 얻는다.
• 전반적으로, 순환 연결에 드롭아웃을 적용하지 않음으로써 LSTM의 기억 능력을 해치지 않으면서 다양한 RNN 과제에서 상당한 정규화 이점을 제공한다.