[논문 리뷰] Recurrent Neural Networks in the Eye of Differential Equations

Murphy Yuezhen Niu, Lior Horesh외 1명|arXiv (Cornell University)|2019. 04. 29.

Model Reduction and Neural Networks참고 문헌 8인용 수 23

한 줄 요약

이 논문은 순환 신경망(RNN)과 상미분방정식(ODE)의 수치적 적분 방법 사이에 정확한 수학적 대응 관계를 설정하며, 특히 RNN 아키텍처를 룬게쿠타 방법과 연결한다. ODERNN이라는 새로운 RNN 구조를 도입하여 ODE 적분 단계와 차수로 매개변수화함으로써 안정적이고 메모리 효율적인 RNN의 체계적 설계를 가능하게 하였으며, 메모리 길이에 대해 다항식에서 선형으로 파라미터 수를 줄이는 데 성공한 예시(QUNN)를 제시하였다.

ABSTRACT

To understand the fundamental trade-offs between training stability, temporal dynamics and architectural complexity of recurrent neural networks~(RNNs), we directly analyze RNN architectures using numerical methods of ordinary differential equations~(ODEs). We define a general family of RNNs--the ODERNNs--by relating the composition rules of RNNs to integration methods of ODEs at discrete time steps. We show that the degree of RNN's functional nonlinearity $n$ and the range of its temporal memory $t$ can be mapped to the corresponding stage of Runge-Kutta recursion and the order of time-derivative of the ODEs. We prove that popular RNN architectures, such as LSTM and URNN, fit into different orders of $n$-$t$-ODERNNs. This exact correspondence between RNN and ODE helps us to establish the sufficient conditions for RNN training stability and facilitates more flexible top-down designs of new RNN architectures using large varieties of toolboxes from numerical integration of ODEs. We provide such an example: Quantum-inspired Universal computing Neural Network~(QUNN), which reduces the required number of training parameters from polynomial in both data length and temporal memory length to only linear in temporal memory length.

연구 동기 및 목표

• RNN의 훈련 안정성, 시간 동적 특성, 아키텍처 복잡성 간의 근본적 상충 관계를 밝히는 것.
• RNN 조합 규칙과 수치적 ODE 적분 방법, 특히 룬게쿠타 스킴 간의 엄밀한 매핑을 수립하는 것.
• 고급 수치적 적분 도구상자를 활용한 새로운 RNN 아키텍처 설계를 위한 이론적 기반을 제공하는 것.
• ODE 이론에서 유도된 안정성 조건이 RNN에 직접 적용될 수 있음을 보여주는 것.
• 시간적 메모리 길이에 대한 파라미터 의존도를 다항식에서 선형으로 줄이는 새로운 아키텍처(QUNN)를 개발하는 것.

제안 방법

• RNN 반복 규칙을 이산적 ODE 적분 방법에 대응시켜 일반적인 RNN 가족, 즉 ODERNN을 정의한다.
• RNN의 기능적 비선형도 $ n $ 과 시간적 메모리 범위 $ t $ 를 룬게쿠타 방법의 단계와 차수에 대응시킨다.
• 기본적인 RNN 아키텍처인 LSTM과 URNN이 특정 $ n $–$ t $–ODERNN의 차수에 속함을 증명한다.
• 가중치 행렬의 스펙트럼 분석과 ODE 안정성 이론을 기반으로 RNN 훈련 안정성에 대한 충분조건을 유도한다.
• ODE 적분 프레임워크를 활용하여 새로운 아키텍처인 양자 힌트 기반 통합 컴퓨팅 신경망(QUNN)을 구축한다.
• ODE-RNN 대응 관계를 활용하여 비선형성과 메모리 깊이를 제어할 수 있는 상향식 설계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 RNN 아키텍처는 어떻게 수치적 ODE 적분 방법과 체계적으로 연관될 수 있는가?
• RQ2 RNN의 기능적 비선형도와 메모리 깊이가 룬게쿠타 방법의 단계와 차수와 정확히 어떻게 대응되는가?
• RQ3 ODE 이론에서 유도된 안정성 조건은 RNN의 훈련 안정성을 보장하기 위해 이행될 수 있는가?
• RQ4 ODE-RNN 대응 관계를 통해 파라미터 수를 줄인 더 효율적인 RNN 아키텍처를 어떻게 설계할 수 있는가?
• RQ5 기존의 ODE 수치적 적분 도구상자는 얼마나 넓은 범위로 새로운 안정적 RNN을 설계하는 데 활용될 수 있는가?

주요 결과

• 논문은 RNN 아키텍처와 룬게쿠타 적분 방법 사이에 일대일 대응 관계를 설정하며, 방법의 단계는 기능적 비선형도 $ n $ 에 대응하고, 차수는 시간적 메모리 깊이 $ t $ 에 대응한다.
• LSTM과 URNN이 특정 $ n $–$ t $–ODERNN 클래스에 속함을 보여주며, 이는 이들의 동역학을 통합된 프레임워크로 이해할 수 있음을 제공한다.
• 가중치 행렬의 스펙트럼 분석과 유사한 방식으로, RNN 훈련 안정성에 대한 충분조건가 유도되었다.
• ODE-RNN 대응 관계를 통해 고차수 또는 적응형 수치적 적분 기법을 활용한 새로운 아키텍처 설계가 가능해졌다.
• 제안된 QUNN 아키텍처는 시간적 메모리 길이에 대해 파라미터 수가 선형 스케일링을 보이며, 이는 이론적 분석을 통해 다항식에서 선형으로 파라미터 수를 줄였음을 입증하였다.
• 이론적 프레임워크는 ODE 적분 방법을 통해 설계된 모든 RNN에 일반적으로 적용 가능하며, 향후 아키텍처 설계를 위한 광범위한 기반을 제공한다.