[논문 리뷰] Minimal Gated Unit for Recurrent Neural Networks

Guobing Zhou, Jianxin Wu외 2명|arXiv (Cornell University)|2016. 03. 31.

Neural Networks and Applications참고 문헌 1인용 수 11

한 줄 요약

이 논문은 단 하나의 게이트만을 갖는 간소화된 순환 신경망(RNN) 히든 유닛인 최소 게이팅 유닛(MGU)을 제안한다. 이는 파라미터 수를 GRU의 2/3, LSTM의 1/2로 줄이며, 최소한의 설계임에도 불구하고 다양한 시퀀스 작업에서 GRU와 유사한 정확도를 달성하면서도 훨씬 더 빠른 훈련 속도와 더 적은 메모리 사용을 보인다.

ABSTRACT

Recently recurrent neural networks (RNN) has been very successful in handling sequence data. However, understanding RNN and finding the best practices for RNN is a difficult task, partly because there are many competing and complex hidden units (such as LSTM and GRU). We propose a gated unit for RNN, named as Minimal Gated Unit (MGU), since it only contains one gate, which is a minimal design among all gated hidden units. The design of MGU benefits from evaluation results on LSTM and GRU in the literature. Experiments on various sequence data show that MGU has comparable accuracy with GRU, but has a simpler structure, fewer parameters, and faster training. Hence, MGU is suitable in RNN's applications. Its simple architecture also means that it is easier to evaluate and tune, and in principle it is easier to study MGU's properties theoretically and empirically.

연구 동기 및 목표

• LSTM와 GRU와 같은 복잡하고 경쟁적인 설계로 인해 RNN 아키텍처에 대한 합의가 없고 이론적 이해가 부족한 문제를 해결하기 위해.
• 성능을 희생시키지 않은 채 게이팅 RNN 유닛의 모델 복잡도와 파라미터 수를 줄이기 위해.
• 단 하나의 게이트만을 갖는 최소한의 게이팅 유닛을 제안하여 아키텍처, 훈련, 향후 이론적 분석을 단순화하기 위해.
• 최소한의 설계가 GRU의 정확도를 따라잡을 수 있는지, 동시에 훈련 효율성을 향상시킬 수 있는지 평가하기 위해.
• 실무 및 연구 용도로 사용할 수 있는 기존의 게이팅 RNN 유닛보다 더 단순하고 분석이 용이한 대안을 제공하기 위해.

제안 방법

• MGU는 GRU와 LSTM에서 볼 수 있는 업데이트 게이트와 피크홀 연결을 생략하고, 정보 흐름을 조절하기 위해 단일 게이트(기억 게이트)를 도입한다.
• 히든 상태는 게이팅 메커니즘을 사용하여 계산되며, h_t = (1 - z_t) * h_{t-1} + z_t * tanh(W * x_t + U * h_{t-1})로 표현되며, 여기서 z_t는 기록 게이트이다.
• 게이트는 z_t = sigmoid(W_z * x_t + U_z * h_{t-1})로 계산되며, 게이트 계산에 단일 학습 가능한 가중치 행렬을 사용한다.
• 다중 히든 상태와 복잡한 연결을 피함으로써 파라미터 수와 계산 오버헤드를 최소화한다.
• 표준 백프로파게이션 스루 타임(Backpropagation Through Time)과 경사 하강법을 사용해 모델을 훈련시키며, GRU와 LSTM와 유사한 방식이다.
• 실험에서는 언어 모델링과 비디오 동작 인식과 같은 다양한 시퀀스 작업을 대상으로 MGU를 GRU, LSTM, IRNN, SCRN과 비교한다.

실험 결과

연구 질문

• RQ1 단 하나의 게이트만을 갖는 게이팅 RNN 유닛이 최소한의 설계임에도 불구하고 GRU와 유사한 성능을 달성할 수 있는가?
• RQ2 RNN 유닛의 파라미터 수와 게이트 수를 줄이면 정확도를 희생시키지 않고도 훈련 속도를 높일 수 있는가?
• RQ3 MGU와 같은 더 단순한 아키텍처가 향후 RNN에 대한 이론적 분석과 경험적 이해를 촉진할 수 있는가?
• RQ4 MGU는 다양한 시퀀스 길이와 데이터 유형을 가진 다양한 시퀀스 작업에서 어떻게 성능을 보이는가?
• RQ5 실제 응용에서 MGU는 GRU와 LSTM보다 더 높은 샘플 및 계산 효율성을 보이는가?

주요 결과

• 500개의 히든 유닛을 사용할 때 MGU는 펜 트리뱅크 데이터셋에서 테스트 퍼플렉서티 105.89를 기록했으며, 유사 조건에서 GRU의 106.02와 유사한 성능을 보였다.
• 400개의 히든 유닛을 사용할 때 MGU는 테스트 퍼플렉서티 106.02를 기록했으며, 조제포비츠 등(2015)에서 보고한 GRU의 108.42 결과를 초월했다.
• MGU는 GRU의 파라미터 수의 2/3만을 가지며, 400개 유닛일 경우 GRU의 722,400에서 MGU의 481,600으로 파라미터 수가 감소했다.
• 400개 유닛일 때 MGU는 GRU보다 약 10-15% 더 빠른 훈련 속도를 보였으며, 에포크당 시간은 MGU가 190초, GRU가 201초였다.
• 500개 유닛을 사용할 때 MGU는 300개 유닛을 사용한 GRU보다 더 빠르게 훈련되었으며, 동일한 시간 내에 더 많은 에포크를 훈련시킬 수 있었고, 이는 향후 성능 향상 가능성을 시사했다.
• 펜 트리뱅크 데이터셋에서 500개 유닛을 사용한 MGU는 검증 퍼플렉서티 107.92를 기록했고, 300개 유닛을 사용한 GRU의 110.92보다 낮아, 일부 경우에서 더 빠른 수렴을 보였다.