[논문 리뷰] Simplified Minimal Gated Unit Variations for Recurrent Neural Networks

Joel C. Heck, Fathi M. Salem|arXiv (Cornell University)|2017. 01. 12.

Neural Networks and Applications참고 문헌 7인용 수 9

한 줄 요약

이 논문은 최소 게이팅 유닛(MGU)의 忽略-게이팅 동적 방정식에서 파rameter를 줄임으로써 세 가지 간소화된 변형—MGU1, MGU2, MGU3—을 제안한다. 이 변형들은 원본 MGU와 GRU에 비해 MNIST 및 레이터스 뉴스워이어(RNT) 데이터셋에서 유사하거나 더 높은 정확도를 달성하면서 학습 비용을 낮추며, 특히 MGU2가 두 데이터셋에서 MGU를 능가한다.

ABSTRACT

Recurrent neural networks with various types of hidden units have been used to solve a diverse range of problems involving sequence data. Two of the most recent proposals, gated recurrent units (GRU) and minimal gated units (MGU), have shown comparable promising results on example public datasets. In this paper, we introduce three model variants of the minimal gated unit (MGU) which further simplify that design by reducing the number of parameters in the forget-gate dynamic equation. These three model variants, referred to simply as MGU1, MGU2, and MGU3, were tested on sequences generated from the MNIST dataset and from the Reuters Newswire Topics (RNT) dataset. The new models have shown similar accuracy to the MGU model while using fewer parameters and thus lowering training expense. One model variant, namely MGU2, performed better than MGU on the datasets considered, and thus may be used as an alternate to MGU or GRU in recurrent neural networks.

연구 동기 및 목표

• 최소 게이팅 유닛(MGU)의 파rameter 수를 줄이되 성능을 유지하거나 향상시키는 것.
• GRU와 MGU의 표현력을 유지하면서 계산 비용을 낮춘 간소화된 아키텍처를 탐색하는 것.
• 복잡도를 줄이면 학습 속도가 빨라지고 시퀀스 모델링 작업에서 정확도가 유사하거나 향상되는지 평가하는 것.
• 시퀀스 학습에서 순환 신경망에 대한 GRU와 MGU의 효율적인 대안을 제공하는 것.

제안 방법

• 기존 MGU의 忽略-게이팅 동적 방정식을 단순화하여 세 가지 변형—MGU1, MGU2, MGU3—을 제안하였다.
• 구조적 단순화를 통해 忽略-게이팅 메커니즘의 파rameter 수를 감소시켰다.
• MGU의 핵심 게이팅 메커니즘을 유지하면서 불필요하거나 복잡한 구성 요소를 최소화하였다.
• 성능 및 효율성 평가를 위해 MNIST 및 레이터스 뉴스워이어 토픽스(RNT) 데이터셋에서 모델을 학습시켰다.
• 백프로파게이션 스루 타임과 확률적 경사 하강법을 사용한 표준 RNN 학습 절차를 적용하였다.
• 모델 성능을 정확도 및 학습 비용 측면에서 변형 간 비교하였다.

실험 결과

연구 질문

• RQ1 최소 게이팅 유닛(MGU)은 성능을 훼손하지 않고 더 간소화시킬 수 있는가?
• RQ2 파rameter 수가 줄어든 MGU 변형은 정확도를 유지하면서 학습 효율성을 향상시키는가?
• RQ3 간소화된 MGU 변형은 시퀀스 모델링 벤치마크에서 GRU와 원본 MGU에 비해 어떻게 비교되는가?
• RQ4 게이팅 RNN 유닛에서 모델 복잡도와 성능 사이에 상충 관계가 존재하는가?

주요 결과

• MGU2는 MNIST 및 레이터스 뉴스워이어 토픽스(RNT) 데이터셋에서 원본 MGU보다 높은 정확도를 달성하였다.
• MGU1, MGU2, MGU3의 세 변형 모두 원본 MGU보다 유사하거나 높은 정확도를 달성하면서 파rameter 수가 줄었다.
• 파rameter 수가 감소함에 따라 학습 비용이 감소하여 계산 효율성이 향상되었다.
• MGU2는 RNT 데이터셋에서 원본 MGU와 GRU를 모두 능가하여 시퀀스 모델링에서 잠재적인 이점이 있음을 시사한다.
• 결과적으로 忽略-게이팅 메커니즘의 아키텍처 단순화가 복잡도를 낮추면서도 성능 향상을 이끌 수 있음을 나타낸다.