[논문 리뷰] Equilibrated Recurrent Neural Network: Neuronal Time-Delayed Self-Feedback Improves Accuracy and Stability

Ziming Zhang, Anil Kag외 2명|arXiv (Cornell University)|2019. 03. 02.

Neural Networks and Applications참고 문헌 46인용 수 4

한 줄 요약

이 논문은 신경형 자가시냅스(neuronal autapses)에서 영감을 얻은 시간지연 자기 피드백 루프를 통합하여 은닉 상태 동역학을 안정화하고 학습 수렴 속도를 높이며 테스트 정확도를 향상시키는 등가 균형화된 순환 신경망(ERNN)을 제안한다. 고정점 조건을 비정확한 뉴턴 방법으로 해결함으로써 ERNN은 RNN, FastRNN, FastGRNN-LSQ보다 더 빠른 학습과 더 나은 일반화 능력을 바탕으로 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel {\it Equilibrated Recurrent Neural Network} (ERNN) to combat the issues of inaccuracy and instability in conventional RNNs. Drawing upon the concept of autapse in neuroscience, we propose augmenting an RNN with a time-delayed self-feedback loop. Our sole purpose is to modify the dynamics of each internal RNN state and, at any time, enforce it to evolve close to the equilibrium point associated with the input signal at that time. We show that such self-feedback helps stabilize the hidden state transitions leading to fast convergence during training while efficiently learning discriminative latent features that result in state-of-the-art results on several benchmark datasets at test-time. We propose a novel inexact Newton method to solve fixed-point conditions given model parameters for generating the latent features at each hidden state. We prove that our inexact Newton method converges locally with linear rate (under mild conditions). We leverage this result for efficient training of ERNNs based on backpropagation.

연구 동기 및 목표

• 소거 또는 폭발하는 기울기로 인해 학습 중에 발생하는 기존 RNN의 불안정성과 느린 수렴 문제를 해결한다.
• 안정화된 은닉 상태 동역학을 통해 더 구분력 있는 잠재 특징을 학습함으로써 테스트 시점의 일반화 성능을 향상시킨다.
• 생물학적으로 영감을 얻은 자기 피드백 메커니즘—자기시냅스 유사한 시간지연 연결을 도입하여 내부 상태 진화를 제어하고 균형을 이룬다.
• 고정점 해결 기반의 효율적인 학습 프레임워크를 개발하여 평형 상태 동역학을 통해 역전파를 가능하게 한다.
• 자기 피드백이 기존의 게이팅 메커니즘보다 정확도와 학습 속도 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 각 RNN 은닉 상태에 시간지연 자기 피드백 연결을 추가하여 업데이트 규칙을 수정함으로써 현재 입력에 대해 평형점으로 향하는 진동을 강제한다.
• 은닉 상태 업데이트를 고정점 방정식으로 공식화한다: $\mathbf{h}_t = \tanh(\mathbf{h}_t + \mathbf{V}\mathbf{h}_{t-1} + \mathbf{W}\mathbf{x}_t + \mathbf{b})$, 여기서 $\mathbf{h}_t$는 고정점에 의해 암묵적으로 정의된다.
• 약한 조건 하에 국소 선형 수렴을 보이는 비정확한 뉴턴 방법을 제안하여 고정점 조건을 효율적으로 해결한다.
• 각 입력이 시간이 지남에 따라 설정점에 도달할 수 있도록 일정 보간을 사용한 상향 샘플링 입력을 활용하여 안정적인 평형 상태 탐색 행동을 가능하게 한다.
• 고정점 솔버를 통해 역전파를 사용하여 ERNN을 학습하며, 평형 상태를 매개변수의 미분 가능한 함수로 간주한다.
• 각 타임스텝에 대해 피드백 강도를 제어할 수 있는 학습 가능한 가중치 $\eta$를 학습시켜 양수 및 음수 피드백 모두를 허용하여 보다 유연한 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RNN에서 시간지연 자기 피드백이 은닉 상태 전이를 안정화하고 학습 수렴을 향상시킬 수 있는가?
• RQ2 자기시냅스 유사 피드백을 통합하면 표준 RNN과 게이팅 네트워크보다 더 나은 일반화와 높은 테스트 정확도를 달성할 수 있는가?
• RQ3 비정확한 뉴턴 방법이 평형 상태의 고정점 조건을 효율적으로 해결할 수 있으며, 이를 통해 미분 가능한 학습이 가능한가?
• RQ4 학습된 피드백 강도 $\eta$는 타임스텝과 데이터셋에 따라 어떻게 변화하는가? 그리고 고정 또는 양수 피드백보다 더 나은 성능을 내는가?
• RQ5 ERNN은 FastRNN 및 FastGRNN-LSQ와 같은 최신 기술 수준의 RNN보다 더 빠른 학습과 높은 정확도를 달성할 수 있는가?

주요 결과

• Google-30 데이터셋에서 ERNN은 FastRNN보다 2.50% 높은 정확도를 기록했으며, 학습 속도는 약 3배 빠르게 진행되었다.
• Pixel-MNIST 데이터셋에서 ERNN은 FastRNN보다 정확도 3.16% 높게 기록했고, 학습 속도는 6배 빠르게 진행되었다.
• ERNN(K=2)는 HAR-2에서 96.33%의 정확도를 기록하여 FastGRNN-LSQ를 1% 뛰어넘었으며, 유사한 학습 시간을 기록했다.
• 비정확한 뉴턴 방법은 국소 선형 수렴을 보였으며, 역전파 중에 고정점 해결을 효율적이고 안정적으로 수행할 수 있었다.
• ERNN는 FastRNN에 비해 훨씬 더 빠른 학습 손실 수렴을 보였고, 최종 손실 값도 낮아 최적화 동역학 향상을 시사했다.
• 학습된 $\eta$ 값은 작고 종종 음수였으며, 이는 적응형 피드백, 특히 억제 기능이 성능 향상에 핵심적임을 시사하며, 동일한 데이터셋에 대해 서로 다른 $k$ 값에서도 $\eta$의 패턴이 일관성을 보였다.