[논문 리뷰] Mogrifier LSTM.

Gábor Melis, Tomáš Kočiský외 1명|arXiv (Cornell University)|2019. 09. 04.

Natural Language Processing Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 현재 입력과 이전 은닉 상태 사이의 상호 게이팅을 도입하여 전이 함수를 맥락에 의존적으로 만드는 Mogrifier LSTM을 제안한다. 이는 입력-맥락 상호작용을 더 잘 모델링할 수 있게 하여, Penn Treebank와 Wikitext-2에서 각각 3–4 퍼플렉서티 포인트 향상되고, 문자 수준 데이터셋에서 비트 매 문자(bits per character)가 향상되어 여러 언어 모델링 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Many advances in Natural Language Processing have been based upon more expressive models for how inputs interact with the context in which they occur. Recurrent networks, which have enjoyed a modicum of success, still lack the generalization and systematicity ultimately required for modelling language. In this work, we propose an extension to the venerable Long Short-Term Memory in the form of mutual gating of the current input and the previous output. This mechanism affords the modelling of a richer space of interactions between inputs and their context. Equivalently, our model can be viewed as making the transition function given by the LSTM context-dependent. Experiments demonstrate markedly improved generalization on language modelling in the range of 3-4 perplexity points on Penn Treebank and Wikitext-2, and 0.01-0.05 bpc on four character-based datasets. We establish a new state of the art on all datasets with the exception of Enwik8, where we close a large gap between the LSTM and Transformer models.

연구 동기 및 목표

• 복잡한 언어 패턴을 모델링하기 위해 표준 RNN, 특히 LSTMs의 일반화 능력과 체계성에 한계가 있는 문제를 해결하기 위해.
• 반복 신경망에서 입력이 맥락 표현과 어떻게 상호작용하는지를 향상시키기 위해.
• 계산 비용을 크게 증가시키지 않으면서 모델링 능력을 향상시키는 메커니즘을 개발하기 위해.
• 단어 수준 데이터셋을 포함한 표준 언어 모델링 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 공유된 게이팅 네트워크를 사용해 입력과 은닉 상태를 동적으로 조절하는 상호 게이팅 메커니즘을 도입한다.
• 게이팅 메커니즘을 적용하여 맥락에 의존적인 전이 함수를 계산함으로써 입력과 은닉 상태 간의 더 풍부한 상호작용을 가능하게 한다.
• 학습 가능한 게이팅을 사용해 입력과 은닉 상태 간의 정보 흐름을 제어하며, 트랜스포머의 게이팅 메커니즘을 영감으로 삼았지만 RNN에 적합하게 변형하였다.
• 게이팅 변환을 표준 LSTM 셀 구조에 통합하여 메모리와 기울기 흐름 특성을 유지한다.
• 최소한의 파라미터를 추가함으로써 파라미터 효율적인 설계를 구현하였고, 이는 모델링 능력 향상에 기여한다.
• 게이팅 메커니즘을 입력과 맥락에 따라 적응하는 학습 가능한, 미분 가능한 변환으로 간주한다.

실험 결과

연구 질문

• RQ1 LSTM에서 맥락에 의존적인 전이 함수가 언어 모델링 작업의 일반화 능력을 향상시킬 수 있는가?
• RQ2 입력과 은닉 상태 간의 상호 게이팅이 장거리 의존성과 체계적 패턴을 모델링하는 데 어떤 영향을 미치는가?
• RQ3 상호 게이팅과 같은 단순한 아키텍처 수정이 표준 언어 모델링 벤치마크에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 Mogrifier LSTM이 표준 LSTM과 트랜스포머와 같은 경쟁 모델보다 문자 수준 언어 모델링에서 더 나은 성능을 내는가?
• RQ5 Enwik8와 같은 도전적인 데이터셋에서 LSTMs와 트랜스포머 간의 성능 격차를 모델이 줄일 수 있는가?

주요 결과

• 표준 LSTM 대비 Penn Treebank와 Wikitext-2 데이터셋에서 3–4 퍼플렉서티 포인트 향상된 성능을 기록한다.
• 네 개인 문자 수준 언어 모델링 데이터셋에서 비트 매 문자(bpc)가 0.01–0.05 감소하여 모델링 효율성이 향상됨을 보여준다.
• 평가된 모든 데이터셋에서 새로운 SOTA 성능을 확립하였고, Enwik8를 제외한 모든 경우에서 성능 향상이 뚜렷하다. Enwik8에서는 LSTMs와 트랜스포머 간의 성능 격차를 크게 줄였다.
• 최소한의 아키텍처 오버헤드로 성능 향상을 달성하여 표준 LSTMs의 계산 효율성을 유지한다.
• 상호 게이팅 메커니즘이 입력-맥락 상호작용을 더 잘 모델링할 수 있게 하여 일반화 능력과 체계성 향상에 기여한다.
• 단어 수준 및 문자 수준 벤치마크를 포함한 다양한 언어 모델링 작업에서 뛰어난 일반화 능력을 보였다.