[논문 리뷰] RNNs Evolving in Equilibrium: A Solution to the Vanishing and Exploding Gradients

Anil Kag, Ziming Zhang외 1명|arXiv (Cornell University)|2019. 08. 22.

Model Reduction and Neural Networks참고 문헌 27인용 수 3

한 줄 요약

이 논문은 일반 미분방정식(OED)의 평형 다양체 위에서 은닉 상태가 진화하는 새로운 RNN 아키텍처인 평형화된 순환 신경망(ERNN)을 제안한다. 이는 기울기의 안정성을 높이고 기울기 소실/폭발 문제를 제거한다. ERNN은 3–10배의 속도 향상, 1.5–3배의 더 작은 모델 크기로 순차적 작업에서 최신 기술 수준의 정확도를 달성하며, 기존 RNN과 유사한 추론 비용을 유지한다.

ABSTRACT

Recurrent neural networks (RNNs) are particularly well-suited for modeling long-term dependencies in sequential data, but are notoriously hard to train because the error backpropagated in time either vanishes or explodes at an exponential rate. While a number of works attempt to mitigate this effect through gated recurrent units, well-chosen parametric constraints, and skip-connections, we develop a novel perspective that seeks to evolve the hidden state on the equilibrium manifold of an ordinary differential equation (ODE). We propose a family of novel RNNs, namely {\em Equilibriated Recurrent Neural Networks} (ERNNs) that overcome the gradient decay or explosion effect and lead to recurrent models that evolve on the equilibrium manifold. We show that equilibrium points are stable, leading to fast convergence of the discretized ODE to fixed points. Furthermore, ERNNs account for long-term dependencies, and can efficiently recall informative aspects of data from the distant past. We show that ERNNs achieve state-of-the-art accuracy on many challenging data sets with 3-10x speedups, 1.5-3x model size reduction, and with similar prediction cost relative to vanilla RNNs.

연구 동기 및 목표

• 시간에 따라 역전파하는 동안 순환 신경망에서 기울기 소실 및 폭발 문제라는 근본적인 과제를 해결하기 위해.
• 게이트 유닛과 스킵 연결과 같은 기존 접근법의 한계를 넘어서, 새로운 동역학 시스템 관점으로 문제를 해결하기 위해.
• 일반 미분방정식(OED)의 평형 다양체를 통해 안정적이고 빠르게 수렴하는 은닉 상태 동역학을 보장하는 순환 아키텍처를 개발하기 위해.
• 과거의 중요한 신호를 장기간 유지함으로써 장기 의존성의 효과적인 모델링을 가능하게 하기 위해.
• 추론 비용을 증가시키지 않고도 모델 크기와 훈련 시간을 줄여 더 뛰어난 모델 효율성 달성하기 위해.

제안 방법

• 일반 미분방정식(OED)의 평형 다양체 위에서 RNN의 은닉 상태 동역학을 수식화하여 안정성을 확보한다.
• 은닉 상태가 OED 시스템의 固定点에 수렴하는 RNN의 가족—평형화된 순환 신경망(ERNNs)—을 정의한다.
• 은닉 상태를 계산하기 위해 이산화된 OED 해법기를 사용하며, 고정점의 안정성에 의해 평형점 수렴이 보장된다.
• OED 시스템이 안정적인 평형점을 가지도록 보장하는 매개변수 제약 조건을 도입하여 기울기 폭발 또는 감쇠를 방지한다.
• 은닉 상태 진화가 안정적이고 효율적이도록 아키텍처를 설계하여 훈련 중 빠른 수렴을 가능하게 한다.
• 평형 다양체를 활용해 장기 기억을 유지하여, 순차적 시퀀스에서 먼 과거 정보의 효과적인 복원이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 RNN의 은닉 상태를 일반 미분방정식(OED)의 평형 다양체 위에서 진화하도록 모델링하면, 시간에 따라 역전파하는 동안 기울기 흐름이 안정화되는가?
• RQ2 이 접근법은 순환 네트워크에서 기울기 소실 및 폭발 문제를 제거하거나 상당히 감소시키는가?
• RQ3 ERNN은 계산 효율성을 유지하면서도 순차적 데이터에서 장기 의존성을 효과적으로 포착할 수 있는가?
• RQ4 정확도, 모델 크기, 훈련 속도 측면에서 표준 RNN과 게이트 변형보다 ERNN이 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 ERNN의 평형 기반 동역학은 다양한 순차 모델링 벤치마크에서 강건하고 확장 가능한가?

주요 결과

• ERNN은 안정적인 ODE의 평형 다양체에 은닉 상태 동역학을 제약하여 기울기 소실 및 폭발 문제를 성공적으로 제거한다.
• 추론 및 훈련 중에 모델이 고정점으로 빠르게 수렴하여 빠르고 안정적인 최적화가 가능하다.
• 여러 어려운 순차 데이터셋에서 ERNN은 표준 RNN과 게이트 아키텍처를 능가하는 최신 기술 수준의 정확도를 달성한다.
• 표준 RNN과 비교해 훈련 속도가 3–10배 향상되었으며, 추론 시 예측 비용에 변화가 없었다.
• 기본 RNN 대비 모델 크기가 1.5–3배 작아져 더 뛰어난 매개변수 효율성을 보였다.
• 아키텍처는 먼 과거의 정보를 효과적으로 복원하여 강력한 장기 기억 능력을 입증했다.