[논문 리뷰] Recurrent Dropout Without Memory Loss

Stanislau Semeniuta, Aliaksei Severyn외 1명|arXiv (Cornell University)|2016. 03. 16.

Advanced Neural Network Applications참고 문헌 23인용 수 100

한 줄 요약

리커런트 드롭아웃(recurrent dropout) 방법을 RNN에 도입하여 게이트형 아키텍처(LSTM/GRU)에서 업데이트 벡터를 드롭하되 장기 기억을 잃지 않도록 하여, 순방향 드롭아웃과 결합되었을 때 특히 정규화 이점을 달성한다.

ABSTRACT

This paper presents a novel approach to recurrent neural network (RNN) regularization. Differently from the widely adopted dropout method, which is applied to forward connections of feed-forward architectures or RNNs, we propose to drop neurons directly in recurrent connections in a way that does not cause loss of long-term memory. Our approach is as easy to implement and apply as the regular feed-forward dropout and we demonstrate its effectiveness for the most popular recurrent networks: vanilla RNNs, Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) networks. Our experiments on three NLP benchmarks show consistent improvements even when combined with conventional feed-forward dropout.

연구 동기 및 목표

• 순환 연결을 정규화하여 RNN, 특히 LSTMs/GRUs의 과적합을 유발하는 문제를 고찰하고 해결하는 것이 목적이다.
• 장기 기억을 보존하는 순환 드롭아웃 기법을 제안한다.
• 제안된 방법을 기존의 순환 드롭아웃 방식과 비교한다.
• 다양한 데이터셋에서 언어 모델링, NER, 감성 태스크로 평가한다.
• 샘플링 스킴( per-step vs per-sequence )이 순환 드롭아웃과의 상호작용을 어떻게 하는지 분석한다.

제안 방법

• 메모리 손실을 피하기 위해 은닉 상태가 아닌 순환 업데이트에 드롭아웃을 적용하는 것을 제안한다.
• LSTM/GRU 식에서 셀 업데이트 벡터 g_t에 대한 드롭아웃을 정식화하되 메모리 경로를 손상시키지 않는다.
• per-step 드롭아웃 마스크 샘플링을 허용하고 이를 태스크 전반에서 per-sequence 샘플링과 비교한다.
• 은닉 상태나 셀 값을 드롭하는 이전의 순환 드롭아웃 방식과 대조하여 기억 보존 드롭아웃을 시연한다.
• forward dropout과의 상호작용을 조사하고 학습 곡선을 통해 수렴 특성을 분석한다.

실험 결과

연구 질문

• RQ1 장기 기억을 손상시키지 않으면서 LSTMs/GRUs의 순환 연결에 드롭아웃을 적용할 수 있는 방법은 무엇인가?
• RQ2 RNN에서 순환 드롭아웃과 표준 forward dropout의 관계는 무엇인가?
• RQ3 순환 드롭아웃에서 드롭아웃 마스크를 per-step으로 샘플링해야 하는가, 아니면 per-sequence로 샘플링해야 하는가, 그리고 이것이 성능에 어떤 영향을 미치는가?
• RQ4 순환 드롭아웃 방법이 언어 모델링, NER, 감성 태스크 전반에서 일반화 성능을 향상시키는가?
• RQ5 은닉 상태 업데이트 벡터를 드롭하는 것과 은닉 상태 자체를 드롭하는 것을 비교하면 어떤 차이가 있는가?

주요 결과

• LSTMs/GRUs에서 은닉 상태 업데이트 벡터에 적용된 순환 드롭아웃은 기억을 보존하고 정규화 이점을 제공한다.
• 제안된 방법에서 per-step 드롭아웃 샘플링은 일반적으로 per-sequence 샘플링과 동등하거나 더 높다.
• 순환 드롭아웃과 forward 드롭아웃의 결합이 여러 NLP 벤치마크에서 추가 성능 향상을 가져온다.
• forward dropout과 결합할 때 언어 모델링의 perplexity와 NER의 F1 점수를 개선하며, LSTM 및 GRU에 특히 효과적이다.
• 업데이트 벡터에 드롭아웃을 적용하면 은닉 상태나 셀 값에서 발생하는 기억 축적 스케일링 문제를 피할 수 있다.