[논문 리뷰] Depth-Gated Recurrent Neural Networks

Kaisheng Yao, Trevor Cohn외 3명|arXiv (Cornell University)|2015. 08. 16.

Natural Language Processing Techniques참고 문헌 7인용 수 63

한 줄 요약

이 논문은 순환 신경망의 확장판인 깊이 게이팅 순환 신경망(DGRNN)을 제안한다. 이는 인접한 레이어의 메모리 셀 간 선형 종속성을 모델링하기 위해 깊이 게이팅을 도입한 것이다. 깊이 게이팅은 하위 레이어의 메모리 상태, 입력, 히든 상태를 기반으로 학습 가능한 함수이며, 이는 시퀀스 모델링 성능을 향상시켜 기계 번역 및 언어 모델링 과제에서 최신 기준 성능을 달성한다.

ABSTRACT

In this short note, we present an extension of long short-term memory (LSTM) neural networks to using a depth gate to connect memory cells of adjacent layers. Doing so introduces a linear dependence between lower and upper layer recurrent units. Importantly, the linear dependence is gated through a gating function, which we call depth gate. This gate is a function of the lower layer memory cell, the input to and the past memory cell of this layer. We conducted experiments and verified that this new architecture of LSTMs was able to improve machine translation and language modeling performances.

연구 동기 및 목표

• 이웃 레이어의 순환 유닛 간 상호의존성을 도입함으로써 장기 단기 기억 네트워크를 향상시키기 위해.
• 표준 LSTMs가 레이어를 독립적으로 처리함으로써 계층적 시퀀스 표현을 놓칠 수 있는 한계를 해결하기 위해.
• 레이어 간 정보 흐름을 제어하는 학습 가능한 게이팅 메커니즘(깊이 게이팅으로 불림)을 설계하기 위해.
• 시퀀스 모델링 벤치마크, 특히 기계 번역 및 언어 모델링에서 제안된 아키텍처를 경험적으로 검증하기 위해.

제안 방법

• 하위 레이어의 메모리 셀, 입력, 히든 상태의 선형 조합을 계산하는 깊이 게이팅을 도입하여 상위 레이어의 메모리 셀에 영향을 주기 위해.
• 표준 LSTM 셀 업데이트 메커니즘을 수정하여 깊이 게이팅을 레이어 간 라우팅 신호로 포함시키기 위해.
• 깊이 게이팅을 미분 가능한 함수로 정의하여 백프로파게이션을 통한 시간 기반의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 입력, 망각, 출력 게이팅과 같은 핵심 LSTM 구성 요소를 유지하면서 깊이 게이팅을 통해 레이어 간 연결성을 추가하기 위해.
• 기울기 기반 최적화를 사용하여 표준 시퀀스-투-시퀀스 및 언어 모델링 목표로 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 학습 가능한 상호 레이어 게이팅을 도입하면 시퀀스 모델링 과제 성능 향상에 기여할 수 있는가?
• RQ2 인접한 LSTM 레이어의 메모리 셀 간 선형 종속성을 모델링하면 표현 학습이 향상되는가?
• RQ3 깊이 게이팅은 기계 번역 및 언어 모델링에서 훈련 안정성과 수렴에 어떤 영향을 미치는가?
• RQ4 제안된 아키텍처는 벤치마크 시퀀스 과제에서 표준 스태킹 LSTMs보다 더 효과적인가?

주요 결과

• 제안된 깊이 게이팅 RNN 아키텍처는 표준 스태킹 LSTMs에 비해 기계 번역 과제에서 향상된 성능을 달성하였다.
• 모델은 언어 모델링 정확도가 향상되어 더 나은 시퀀스 표현 학습을 나타내었다.
• 깊이 게이팅 메커니즘은 제어된 상호 레이어 정보 흐름을 성공적으로 도입하여 모델 표현력이 향상되었다.
• 실험 결과 아키텍처가 훈련 가능하고 효과적이며, 하류 시퀀스 모델링 과제에서 측정 가능한 성과 향상이 확인되었다.