[논문 리뷰] Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies

T. Konstantin Rusch, Siddhartha Mishra|arXiv (Cornell University)|2020. 10. 02.

Neural Networks and Applications인용 수 23

한 줄 요약

이 논문은 둘레의 비선형 진동자로 모델링된 2차 상미분방정식(second-order ODEs)을 기반으로 한 새로운 RNN 아키텍처인 결합된 진동성 순환 신경망(coRNN)을 제안한다. 이러한 ODE들을 시간 이산화하여 IMEX 스킴에 적용함으로써 coRNN은 엄밀한 이론적 경계를 통해 기울기의 유한성을 보장하여 기울기 소실과 기울기 폭주 문제를 효과적으로 완화하면서도 순차적 학습 벤치마크에서 경쟁력 있는 성능을 유지한다.

ABSTRACT

Circuits of biological neurons, such as in the functional parts of the brain can be modeled as networks of coupled oscillators. Inspired by the ability of these systems to express a rich set of outputs while keeping (gradients of) state variables bounded, we propose a novel architecture for recurrent neural networks. Our proposed RNN is based on a time-discretization of a system of second-order ordinary differential equations, modeling networks of controlled nonlinear oscillators. We prove precise bounds on the gradients of the hidden states, leading to the mitigation of the exploding and vanishing gradient problem for this RNN. Experiments show that the proposed RNN is comparable in performance to the state of the art on a variety of benchmarks, demonstrating the potential of this architecture to provide stable and accurate RNNs for processing complex sequential data.

연구 동기 및 목표

• 장기 순차적 데이터 학습에서 지속적인 기울기 폭주 및 기울기 소실 문제를 해결한다.
• LSTM, GRU, 직교 RNN과 같은 기존 방법의 한계를 극복한다. 이러한 방법들은 여전히 기울기 불안정성 또는 표현력 감소 문제를 겪을 수 있다.
• 결합된 진동자 역학의 물리적 직관을 바탕으로 이론적으로 탄탄한 RNN 아키텍처를 개발한다.
• 제안된 아키텍처가 표준 순차적 학습 과제에서 높은 표현력과 경쟁력 있는 성능을 유지함을 입증한다.

제안 방법

• 결합된 감쇠 및 외력이 작용하는 진동자를 나타내는 2차 비선형 상미분방정식의 시스템을 사용하여 RNN 동역학을 모델링한다.
• 수치적 안정성과 구현을 위해 속도 변수를 도입하여 2차 시스템을 1차 시스템으로 변환한다.
• 1차 시스템에 대해 IMEX(음성-양성) 시간 이산화 스킴을 적용하여 상태 갱신은 음성 처리하고 비선형 활성화 항은 양성 처리한다.
• 에너지 유사 리아프노프 함수에서 유도된 시간 단계 제약 조건을 사용하여 은닉 상태와 그 기울기의 유한성을 확보한다.
• 은닉 상태와 기울기의 이론적 경계를 증명하며, 이는 감쇠 파라미터 ε > 1/2 및 시간 단계 Δt가 특정 부등식을 만족할 조건에서 성립한다.
• 암시적 감쇠(θ̄n = n)와 명시적 감쇠(θ̄n = n−1)의 두 변종을 구현하였으며, 둘 다 실질적으로 기울기 안정성을 보였다.

실험 결과

연구 질문

• RQ1 결합된 비선형 진동자를 기반으로 한 순환 신경망 아키텍처가 시간 역행 기울기 전파 중 기울기 안정성을 확보할 수 있는가?
• RQ2 기울기 경계를 강제함에도 불구하고 이러한 아키텍처가 순차적 학습 과제에서 충분한 표현력을 유지하고 경쟁적 성능을 낼 수 있는가?
• RQ3 은닉 상태와 기울기의 이론적 경계는 시간 단계 Δt와 감쇠 파라미터 ε 및 γ의 선택에 따라 어떻게 달라지는가?
• RQ4 제안된 coRNN 아키텍처가 LSTM 및 GRU와 같은 최첨단 RNN 모델에 비해 정확도와 학습 안정성 측면에서 승승을 거두거나 이를 따라잡을 수 있는가?
• RQ5 암시적 처리와 명시적 처리 간의 감쇠 항에 대한 차이는 기울기 안정성과 실용적 성능에 어떤 영향을 미치는가?

주요 결과

• coRNN 아키텍처는 특정 조건 하에서 은닉 상태와 기울기의 엄밀한 이론적 경계를 확보하여 기울기 폭주 및 기울기 소실 문제를 방지한다.
• 손실 함수에 대한 네트워크 파라미터의 기울기는 시퀀스 길이에 무관한 상수로 경계되며, 이는 기울기 안정성을 보장한다.
• 장기 의존성의 경우 기울기가 0에 가까워지지 않으며, 기울기 표현식의 O(Δt^{3/2}) 항으로 인해 기울기 소실이 제거됨을 보여준다.
• 암시적 감쇠 변종의 경우 안정성을 확보하기 위해 시간 단계 Δt가 Δt < (2ε − 1)/γ 를 만족해야 하며, 이는 명시적 변종의 조건보다 덜 엄격하다.
• 실험 결과 coRNN은 다양한 벤치마크에서 최첨단 모델과 비교해 유사한 성능을 보였으며, 실용적 타당성을 확인했다.
• 이론적 프레임워크는 에너지 유사 리아프노프 함수가 시간이 지남에 따라 감소함을 보장하여 기울기 안정성의 물리적 근거를 제공한다.