[논문 리뷰] Deep Gate Recurrent Neural Network

Yuan Gao, Dorota Głowacka|arXiv (Cornell University)|2016. 04. 11.

Neural Networks and Applications인용 수 11

한 줄 요약

이 논문은 단일 곱셈 게이트를 사용하여 정보 흐름을 제어하는 새로운 순환 신경망 유닛인 단순 게이팅 유닛(SGU)과 심층 단순 게이팅 유닛(DSGU)을 제안한다. 이는 LSTM 및 GRU에 비해 파rameter 수와 계산 시간을 줄여준다. DSGU는 장기 의존성에 대한 더 빠른 학습과 향상된 수치적 안정성을 제공하며, RNN 기존 그래프(RCG) 프레임워크를 통해 RNN 유닛의 구조를 더 명확하게 분석할 수 있다.

ABSTRACT

This paper introduces two recurrent neural network structures called Simple Gated Unit (SGU) and Deep Simple Gated Unit (DSGU), which are general structures for learning long term dependencies. Compared to traditional Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU), both structures require fewer parameters and less computation time in sequence classification tasks. Unlike GRU and LSTM, which require more than one gates to control information flow in the network, SGU and DSGU only use one multiplicative gate to control the flow of information. We show that this difference can accelerate the learning speed in tasks that require long dependency information. We also show that DSGU is more numerically stable than SGU. In addition, we also propose a standard way of representing inner structure of RNN called RNN Conventional Graph (RCG), which helps analyzing the relationship between input units and hidden units of RNN.

연구 동기 및 목표

• LSTM 및 GRU와 같은 전통적인 RNN이 장기 의존성을 모델링할 때 높은 계산 비용과 파arameter 비용을 초래하는 문제를 해결한다.
• 재귀 유닛의 게이트 수를 줄여 아키텍처를 단순화하고 학습 속도를 높인다.
• 더 나은 학습 성능을 위해 재귀 유닛의 수치적 안정성을 향상시킨다.
• RNN 내부 구조를 분석하기 위한 표준화된 표현 방식을 개발하여 해석 가능성과 설계를 향상시킨다.

제안 방법

• 입력 상태와 은닉 상태 간의 정보 흐름을 조절하기 위해 단일 곱셈 게이트를 사용하는 재귀 유닛인 단순 게이팅 유닛(SGU)을 제안한다.
• DSGU는 아키텍처 스택을 통해 수치적 안정성을 향상시키는 SGU의 심층 버전을 소개한다.
• RNN 기존 그래프(RCG)는 입력-은닉 유닛 간 관계를 매핑하여 구조적 분석을 위한 RNN 유닛의 형식적 표현을 설계한다.
• SGU와 DSGU를 시퀀스 분류 작업에 대해 훈련시켜 LSTM 및 GRU와의 성능, 파arameter 수, 추론 속도를 비교한다.
• GRU/LSTM에서처럼 다수의 게이트를 사용하는 대신 단일 곱셈 게이트 메커니즘을 적용하여 업데이트 규칙을 단순화하고 계산 오버헤드를 줄인다.
• 시퀀스 데이터에서 모델을 훈련하기 위해 시간에 따른 역전파와 기울기 기반 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 단일 게이트 재귀 유닛이 다수 게이트 유닛인 GRU 및 LSTM보다 더 적은 파arameter와 계산량으로 장기 의존성을 학습하는 데 성능이 뛰어나게 될 수 있는가?
• RQ2 제안된 DSGU 아키텍처가 시퀀스 모델링 작업에서 기본 SGU에 비해 더 높은 수치적 안정성을 제공하는가?
• RQ3 RNN 기존 그래프(RCG) 프레임워크가 재귀 유닛의 내부 구조를 효과적으로 표현하고 분석할 수 있는가?
• RQ4 SGU와 DSGU의 훈련 속도와 정확도는 시퀀스 분류 벤치마크에서 LSTM 및 GRU와 비교해 어떻게 되는가?

주요 결과

• SGU와 DSGU는 LSTM 및 GRU보다 훨씬 적은 파arameter를 요구하면서도 시퀀스 분류 작업에서 유사하거나 더 뛰어난 성능을 달성한다.
• SGU와 DSGU의 단일 게이트 메커니즘은 계산 복잡도를 낮춰 더 빠른 훈련 및 추론 시간을 제공한다.
• DSGU는 SGU에 비해 향상된 수치적 안정성을 보이며, 깊거나 장기적인 시퀀스 모델링에 더 적합하다.
• 제안된 RNN 기존 그래프(RCG)는 RNN 내부의 입력 유닛과 은닉 유닛 간의 관계를 명확하고 표준화된 방식으로 표현하고 분석할 수 있게 한다.
• 단일 곱셈 게이트의 사용은 다수 게이트 아키텍처보다 장기 의존성 학습을 더 빠르게 가능하게 한다.
• 실험 결과 SGU와 DSGU는 모델 복잡도를 줄임에도 불구하고 강력한 성능을 유지하며, 효율성과 효과성을 확인한다.