[논문 리뷰] Overcoming the vanishing gradient problem in plain recurrent networks

Yuhuang Hu, Adrian E. G. Huber외 2명|arXiv (Cornell University)|2018. 01. 18.

Topic Modeling참고 문헌 26인용 수 83

한 줄 요약

논문은 Recurrent Identity Networks (RINs)를 도입합니다. 게이트가 없는 순수 RNN 변형으로, 학습 불가능한 항등 대리 기억을 통해 소실 기울기를 완화하고 빠른 학습을 가능하게 하며 IRNN 및 LSTM과 비슷한 성능을 장기 시퀀스 작업에서 달성합니다.

ABSTRACT

Plain recurrent networks greatly suffer from the vanishing gradient problem while Gated Neural Networks (GNNs) such as Long-short Term Memory (LSTM) and Gated Recurrent Unit (GRU) deliver promising results in many sequence learning tasks through sophisticated network designs. This paper shows how we can address this problem in a plain recurrent network by analyzing the gating mechanisms in GNNs. We propose a novel network called the Recurrent Identity Network (RIN) which allows a plain recurrent network to overcome the vanishing gradient problem while training very deep models without the use of gates. We compare this model with IRNNs and LSTMs on multiple sequence modeling benchmarks. The RINs demonstrate competitive performance and converge faster in all tasks. Notably, small RIN models produce 12%--67% higher accuracy on the Sequential and Permuted MNIST datasets and reach state-of-the-art performance on the bAbI question answering dataset.

연구 동기 및 목표

• 평면 순환 신경망에서의 소실 기울기에 대한 연구의 필요성과 게이트 구조(LSTM/GRU)의 한계를 동기로 삼는다.
• 다른 기억 메커니즘을 활용하여 평면 RNN이 소실 기울기를 극복할 수 있는지 탐구한다.
• 게이트 없는 모델이자 대리 기억을 갖는 Recurrent Identity Network (RIN)을 제안하고 형식화한다.
• 수렴성과 성능을 평가하기 위해 긴 범위 시퀀스 작업(adding problem, MNIST 변형, bAbI)에서 RIN을 IRNN 및 LSTM과 비교하여 평가한다.

제안 방법

• 정보 흐름과 항등 매핑을 분석하기 위해 RNN의 Iterative Estimation 해석을 채택한다.
• GNN에서 이중 게이트 설계를 분석하고 carry 게이트가 게이트 없이도 항등과 유사한 동작을 가능하게 하는 방법을 보인다.
• 다음 업데이트 식을 갖는 RIN을 제안한다: h_t = ReLU(Wx_t + Uh_{t-1} + h_{t-1} + b) = ReLU(Wx_t + (U + I)h_{t-1} + b).
• 단계 간 과거 표현을 보존하기 위해 학습 가능하지 않은 항등 행렬을 대리 기억으로 도입한다.
• Differential State Framework (DSF)와의 연결 및 RIN이 ReLU 활성화에서 안정적인 기울기 전파를 어떻게 지원하는지에 대해 논의한다.

실험 결과

연구 질문

• RQ1 ReLU로 학습된 평면 순환 네트워크가 게이트 메커니즘 없이 소실 기울기를 완화할 수 있는가?
• RQ2 학습 불가능한 항등 구성요소를 도입하면 과거 표현을 보존하고 장거리 의존성 모델링을 가능하게 하는가?
• RQ3 adding problems, Sequential/Permuted MNIST, 및 bAbI 작업과 같은 긴 시퀀스 작업에서 RIN이 IRNN 및 LSTM에 비해 어떤 성능을 보이는가?

주요 결과

• RIN은 초기 훈련 단계에서 IRNN 및 LSTM보다 수렴 속도가 빠르다.
• 일부 구성에서 소형 RIN이 Sequential 및 Permuted MNIST에서 IRNN 및 LSTM에 비해 12%–67% 더 높은 정확도를 달성한다.
• 보고된 설정에서 bAbI 질의응답 데이터셋에서 최첨단 성능에 도달한다.
• 보고된 실험에서 MNIST 과제에서 LSTMs는 일반적으로 RIN 및 IRNN보다 성능이 떨어진다.
• 게이트 없는 설계와 간단한 대리 기억을 사용하면서 게이트 기반 모델과 경쟁력 있는 성능을 보인다.