[논문 리뷰] Recurrent Memory Networks for Language Modeling

Ke Tran, Arianna Bisazza외 1명|arXiv (Cornell University)|2016. 01. 06.

Topic Modeling참고 문헌 34인용 수 22

한 줄 요약

이 논문은 장기 기억을 갖춘 순환 신경망(LSTM) 네트워크를 향상시키기 위해 관련된 이전 단어들에 대한 선택적 주의를 가능하게 하는 메모리 블록을 통합한 새로운 RNN 아키텍처인 순환 메모리 네트워크(RMN)를 소개한다. RMN은 언어 모델링과 문장 완성에서 최신 기술 수준(SOTA) 성능을 달성하며, 문장 완성 챌린지에서 기존 LSTM보다 11.2% 높은 정확도를 기록했고, 명시적인 주의 메커니즘을 통해 언어 패턴의 해석 가능성을 향상시켰다.

ABSTRACT

Recurrent Neural Networks (RNN) have obtained excellent result in many natural language processing (NLP) tasks. However, understanding and interpreting the source of this success remains a challenge. In this paper, we propose Recurrent Memory Network (RMN), a novel RNN architecture, that not only amplifies the power of RNN but also facilitates our understanding of its internal functioning and allows us to discover underlying patterns in data. We demonstrate the power of RMN on language modeling and sentence completion tasks. On language modeling, RMN outperforms Long Short-Term Memory (LSTM) network on three large German, Italian, and English dataset. Additionally we perform in-depth analysis of various linguistic dimensions that RMN captures. On Sentence Completion Challenge, for which it is essential to capture sentence coherence, our RMN obtains 69.2% accuracy, surpassing the previous state-of-the-art by a large margin.

연구 동기 및 목표

• 표준 RNN, 특히 LSTMs가 언어적 의존성을 어떻게 포착하는지에 대한 해석 가능성 부족 문제를 해결하기 위해.
• 메모리 블록 구성 요소를 통해 과거의 관련 단어들에 선택적으로 주의를 기울일 수 있도록 함으로써 언어 모델링 성능을 향상시키기 위해.
• 모델이 어떤 언어적 차원(특히 문법적 및 의존성 구조)을 포착하는지 분석하기 위해, 특히 문법적 지도 없이도 그러한 분석을 수행하기 위해.
• 언어 모델링을 넘어서 문장 완성과 같이 일관성과 장거리 의존성이 중요한 과제들로 RMN 아키텍처를 확장하기 위해.
• 메모리 블록이 표준 LSTMs보다 높은 성능과 더 깊은 해석 가능성을 동시에 가능하게 하는지 입증하기 위해.

제안 방법

• RMN 아키텍처는 표준 LSTM과 최근 입력 단어들에 주의를 기울이고 다음 단어 예측에 관련된 단어들을 선택하는 메모리 블록(MB)을 조합한다.
• MB는 현재 LSTM 은닉 상태와 목표 단어에 대한 관련성에 기반하여 이력 단어들에 대한 주의 분포를 계산한다.
• 모델은 게이팅 메커니즘을 사용하여 메모리 내용을 업데이트함으로써 장기간의 시퀀스 동안 관련 정보를 저장하고 검색할 수 있도록 한다.
• RMN은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 정규화를 위해 각 LSTM 레이어 후에 드롭아웃이 적용된다.
• 두 가지 변형이 탐색되었으며, 단방향-RM(과거 컨텍스트만 사용)과 양방향-RM(과거 및 미래 컨텍스트 모두 사용)이며, 후자가 더 뛰어난 성능를 보였다.
• MB의 주의 가중치는 모델 행동을 해석하고, 장거리 동시 발생 및 문법 패턴과 같은 언어적 의존성을 분석하는 데 사용된다.

실험 결과

연구 질문

• RQ1 메모리 증강 RNN 아키텍처가 표준 LSTMs를 초월해 언어 모델링 성능을 향상시킬 수 있는가?
• RQ2 RMN이 명시적인 문법적 지도 없이도 문법적 및 의존성 구조를 어느 정도 암묵적으로 학습할 수 있는가?
• RQ3 메모리 블록 내 주의 메커니즘이 텍스트 내 장거리 의존성을 포착하는 데 어떻게 기여하는가?
• RQ4 과거 단어들에 명시적으로 주의를 기울일 수 있는 능력이 NLP 과제에서 모델 결정의 해석 가능성을 향상시키는가?
• RQ5 RMN은 문장 수준의 일관성이 요구되는 과제, 예를 들어 문장 완성과 같은 과제로 일반화될 수 있는가?

주요 결과

• RMN은 문장 완성 챌린지에서 69.2%의 정확도를 기록하여 이전 최고 기록인 58.9%를 크게 상회했다.
• 독일어, 이탈리아어, 영어의 세 개의 대규모 언어 모델링 데이터셋에서 RMN은 퍼플렉서티 측면에서 LSTM 베이스라인을 능가하여 더 뛰어난 모델링 능력을 보였다.
• 단방향-RM 변형이 양방향-RM보다 성능이 뛰어나, 이 아키텍처에서는 이미 처리된 컨텍스트에 대한 주의가 미래 단어를 통합하는 것보다 더 신뢰할 만하다는 것을 시사한다.
• 모델은 명시적인 문법적 특징 없이도 장거리 동시 발생과 단어 예측에 핵심적인 의존성 유형을 암묵적으로 포착했다.
• 메모리 블록 내 주의 메커니즘은 문법적 의존성과 의미 일관성과 같은 언어 패턴을 분석하는 데 있어 해석 가능한 분석을 가능하게 했다.
• RMN의 성능 향상은 관련된 과거 단어들에 선택적으로 주의를 기울일 수 있는 능력 덕분이며, 이는 정확도 향상과 해석 가능성 향상의 이중적 효과를 가져왔다.