[논문 리뷰] Improving the Gating Mechanism of Recurrent Neural Networks

Albert Gu, Çaǧlar Gülçehre외 3명|arXiv (Cornell University)|2019. 10. 22.

Neural Networks and Applications참고 문헌 47인용 수 30

한 줄 요약

이 논문은 순환 신경망에서 과도하게 활성화된 게이트 상태에서 기울기 흐름을 향상시키기 위해 정련 게이트와 균일한 게이트 초기화를 포함하는 UR 게이팅 메커니즘을 제안한다. 이 방법은 장기 의존성 학습을 향상시키며, 합성 메모리 작업, 순차적 이미지 분류, 언어 모델링, 강화 학습 등에서 표준 LSTMs를 능가한다. 특히 장수평 설정에서 두각을 나타낸다.

ABSTRACT

Gating mechanisms are widely used in neural network models, where they allow gradients to backpropagate more easily through depth or time. However, their saturation property introduces problems of its own. For example, in recurrent models these gates need to have outputs near 1 to propagate information over long time-delays, which requires them to operate in their saturation regime and hinders gradient-based learning of the gate mechanism. We address this problem by deriving two synergistic modifications to the standard gating mechanism that are easy to implement, introduce no additional hyperparameters, and improve learnability of the gates when they are close to saturation. We show how these changes are related to and improve on alternative recently proposed gating mechanisms such as chrono initialization and Ordered Neurons. Empirically, our simple gating mechanisms robustly improve the performance of recurrent models on a range of applications, including synthetic memorization tasks, sequential image classification, language modeling, and reinforcement learning, particularly when long-term dependencies are involved.

연구 동기 및 목표

• 게이트가 과도하게 활성화된 상태에서 기울기가 소멸되어 학습이 저해되는 순환 네트워크의 기울기 소멸 문제를 해결한다.
• 표준 게이트 초기화 방식의 한계를 극복하여 모델이 처음에 처리할 수 있는 시간스케일의 범위를 제한하지 않는다.
• 추가 하이퍼파ram터, 파라미터, 계산 오버헤드 없이 장기 의존성 작업에서 게이트의 학습 가능성을 향상시킨다.
• 모든 게이팅 RNN(예: LSTMs, GRUs 포함)에 적용 가능한 단순하고 모듈식인 게이팅 메커니즘을 개발한다.
• 다양한 벤치마크에서 강력한 성능 향상을 보이며, 특히 장기 메모리와 계층적 구조 모델링이 필요한 작업에서 두각을 나타낸다.

제안 방법

• 주 게이트가 과도하게 활성화된 상태에서도 더 안정적인 기울기 흐름을 가능하게 하기 위해 주 게이트를 조정하는 정련 게이트 메커니즘을 도입한다.
• 학습 가능한 보조 정련 게이트를 사용하여 주 게이트의 효과적 출력을 제어함으로써 주 게이트의 과도화와 기울기 흐름을 분리한다.
• 균일한 게이트 초기화(Unequal Gate Initialization, UGI)를 제안하여 게이트 활성화를 [0,1] 범위의 균일 분포에서 초기화함으로써 초기 시간스케일의 다양성을 증가시킨다.
• 정련 게이트와 UGI를 조합하여 표준 RNN과 호환되며 추가 하이퍼파ram터가 필요 없는 UR 게이팅 메커니즘을 구성한다.
• 표준 LSTMs의 忽略 게이트와 입력 게이트에 UR 메커니즘을 적용하여 동일한 계산 및 메모리 오버헤드를 유지한다.
• 모듈식이고 상호 교체 가능한 설계를 하여, 다른 게이트 유형이나 초기화 방식 등 유사한 대체 요소로 구성 요소를 쉽게 교체할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않고도 정련 게이팅 메커니즘이 과도한 상태에서 기울기 흐름을 향상시킬 수 있는가?
• RQ2 게이트 활성화를 균일하게 초기화하면 모델이 초기 상태에서 다양한 시간 의존성을 학습할 능력을 향상시킬 수 있는가?
• RQ3 UR 게이팅 메커니즘은 chrono 초기화나 Ordered Neurons와 같은 기존 방법과 비교해 장기 의존성을 다룰 때 어떻게 성능을 냈는가?
• RQ4 UR 메커니즘의 성능 향상은 다양한 아키텍처(LSTM, RMC 등)와 작업(언어 모델링, 강화 학습 등)으로 일반화되는가?
• RQ5 UR 메커니즘은 추가 하이퍼파ram터나 계산 오버헤드 없이 모든 게이팅 RNN에 일반적으로 적용 가능한가?

주요 결과

• UR-LSTM는 표준 LSTMs가 해결할 수 없는 합성 메모리 작업을 해결하여 장기 메모리 유지 능력이 향상됨을 입증한다.
• 순차적 MNIST와 CIFAR-10에서 UR-LSTM은 표준 LSTMs와 이전 베이스라인을 모두 능가하는 최고 성능을 기록한다.
• WikiText-103에서의 언어 모델링 작업에서 UR-LSTM은 표준 LSTMs보다 일관된 성능 향상을 보이며, 특히 장거리 의존성 처리에서 뛰어난 성능을 나타낸다.
• 큰 방해 요소 보상이 있는 Active Match와 같은 강화 학습 작업에서 UR-LSTM과 UR-DNC 모델은 랜덤 추측을 뛰어넘는 유일한 모델이었으며, 장수평 의사결정에 대한 강건성을 입증한다.
• UR 메커니즘은 다른 순환 코어로도 잘 일반화된다: UR-RMC는 Learning to Execute 벤치마크의 Control 및 Program 작업에서 표준 RMC를 능가하며, 특히 계층적이고 장수평 설정에서 두각을 나타낸다.
• 정련 게이트 메커니즘 덕분에 UR-LSTM의 최소 忽略 유닛은 표준 LSTM보다 시간스케일이 한 계단 이상 작아져 시간 동역학에 대한 더 나은 제어를 가능하게 한다.