[논문 리뷰] Depth-Gated LSTM

Kaisheng Yao, Trevor Cohn외 3명|arXiv (Cornell University)|2015. 08. 16.

Natural Language Processing Techniques참고 문헌 14인용 수 36

한 줄 요약

이 논문은 표준 LSTMs를 개선하기 위해 인접한 레이어 간의 메모리 셀을 연결하는 깊이 게이트를 추가한 Depth-Gated LSTMs 아키텍처를 소개한다. 깊이 게이트는 하위 레이어의 메모리 셀, 입력, 그리고 은닉 상태를 입력으로 받아 학습 가능한 함수이며, 레이어 간에 선형적이고 게이팅된 연결을 도입함으로써 기계 번역 및 언어 모델링 작업에서 성능을 향상시킨다.

ABSTRACT

In this short note, we present an extension of long short-term memory (LSTM) neural networks to using a depth gate to connect memory cells of adjacent layers. Doing so introduces a linear dependence between lower and upper layer recurrent units. Importantly, the linear dependence is gated through a gating function, which we call depth gate. This gate is a function of the lower layer memory cell, the input to and the past memory cell of this layer. We conducted experiments and verified that this new architecture of LSTMs was able to improve machine translation and language modeling performances.

연구 동기 및 목표

• 기계 번역 및 언어 모델링과 같은 시퀀스 모델링 작업에서 표준 LSTMs의 성능을 향상시키기.
• 딥 LSTMs 아키텍처에서 레이어 간의 정보 흐름이 제한되는 문제를 해결하기.
• 레이어 간 메모리 정보 전달을 명시적으로 제어하는 새로운 게이팅 메커니즘인 깊이 게이트를 도입하기.
• 깊이 게이트가 모델 복잡도를 과도하게 증가시키지 않으면서도 성능 향상을 이끌어내는지 경험적으로 검증하기.

제안 방법

• 깊이 게이트는 하위 레이어의 메모리 셀, 레이어의 현재 입력, 그리고 이전 은닉 상태를 입력으로 받는 미분 가능한 함수로 정의된다.
• 깊이 게이트는 하위 레이어의 메모리 셀과 상위 레이어의 메모리 셀 간의 선형 연결을 조절한다.
• 게이팅 메커니즘은 네트워크가 한 레이어의 메모리에서 다음 레이어로 정보를 전달할 시점과 정도를 학습할 수 있도록 한다.
• 깊이 게이팅된 LSTM은 표준 LSTM의 셀 상태 및 은닉 상태 계산 방식을 유지하지만, 메모리 셀 업데이트 규칙에 깊이 게이트를 추가한다.
• 깊이 게이트는 표준 LSTM 학습 방식과 유사하게 시간에 따른 역전파를 통해 엔드 투 엔드로 훈련된다.
• 성능 평가를 위해 이 아키텍처는 기계 번역 및 언어 모델링 작업에 모두 적용된다.

실험 결과

연구 질문

• RQ1 인접한 LSTM 레이어의 메모리 셀 간에 학습 가능한 게이트를 도입하면 시퀀스 모델링 성능이 향상되는가?
• RQ2 깊이 게이트는 딥 LSTMs 네트워크에서 레이어 간 정보 흐름에 어떤 영향을 미치는가?
• RQ3 깊이 게이팅된 LSTM 아키텍처는 기계 번역 및 언어 모델링 작업에서 표준 딥 LSTMs를 능가하는가?
• RQ4 깊이 게이트의 입력 구성 요소(하위 레이어 메모리, 입력, 은닉 상태)가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 깊이 게이팅된 LSTM 아키텍처는 표준 딥 LSTM 네트워크보다 기계 번역 작업에서 향상된 성능을 달성했다.
• 언어 모델링 작업에서 일관된 성능 향상이 나타나, 장거리 의존성을 더 잘 포착하는 것으로 나타났다.
• 깊이 게이트 메커니즘이 레이어 간 더 효과적인 정보 전달을 가능하게 하여 딥 네트워크의 표현 능력을 향상시켰다.
• 모델 파rameter 수나 계산 비용의 유의미한 증가 없이도 성능 향상이 달성되었다.