[논문 리뷰] Transformation of ReLU-based recurrent neural networks from discrete-time to continuous-time

Zahra Monfared, Daniel Durstewitz|arXiv (Cornell University)|2020. 07. 01.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 ReLU 기반의 조각별 선형 순환 신경망(PLRNN)을 이산 시간 재귀 맵에서 등가의 연속 시간 상미분방정식(OED)으로 변환하는 수학적 프레임워크를 제안한다. 고유값이 1이거나 순환으로 인한 복소수 고유값을 가진 경우를 포함한 다양한 조건 하에서 세 개의 정리를 증명함으로써, 연속 시간 ODE 설정이 원래 이산 시스템의 역학을 유지함을 입증한다. 이는 부드러운 보간, 외삽 및 이론적 분석의 향상을 가능하게 하며, 역학적 동등성을 유지한다.

ABSTRACT

Recurrent neural networks (RNN) as used in machine learning are commonly formulated in discrete time, i.e. as recursive maps. This brings a lot of advantages for training models on data, e.g. for the purpose of time series prediction or dynamical systems identification, as powerful and efficient inference algorithms exist for discrete time systems and numerical integration of differential equations is not necessary. On the other hand, mathematical analysis of dynamical systems inferred from data is often more convenient and enables additional insights if these are formulated in continuous time, i.e. as systems of ordinary (or partial) differential equations (ODE). Here we show how to perform such a translation from discrete to continuous time for a particular class of ReLU-based RNN. We prove three theorems on the mathematical equivalence between the discrete and continuous time formulations under a variety of conditions, and illustrate how to use our mathematical results on different machine learning and nonlinear dynamical systems examples.

연구 동기 및 목표

• 과학적 모델링에서 널리 사용되는 이산 시간 RNN과 연속 시간 역학 시스템의 이론적 이점 사이의 격차를 해소하기 위해.
• 단계별로 변형된 이산 시간 ReLU 기반 PLRNN을 원래의 단계 공간 역학을 변경하지 않은 채 등가의 연속 시간 ODE로 변환하는 수학적으로 엄밀한 방법을 개발하기 위해.
• 유도된 역학 시스템의 분석을 향상시키기 위해, 분기 분석, 시간 스케일 분리, 데이터 포인트 간의 부드러운 보간을 포함하기 위해.
• 합성 벤치마크와 실제 fMRI 데이터에서 이 방법의 적용 가능성을 입증하여, 원래 시스템과 충실한 역학적 동등성을 보여주기 위해.

제안 방법

• 정수 시간 단계에서 이산 시간 업데이트 규칙과 일치하는 유동장(flow field)을 구성함으로써 연속 시간 ODE를 유도한다.
• ReLU 활성화를 사용한 조각별 선형 역학을 적용하여 수학적 취급 용이성과 보편적 근사 성질을 확보한다.
• 역행성 및 스펙트럼 조건 하에서 행렬 로그와 고유값 분석을 적용하여 재귀 행렬을 연속 시간 생성자로 변환한다.
• 일반적인 역행성 행렬에 대해 정리 1을, 고유값이 1인 경우에 대해 정리 2를, 순환으로 인한 복소수 고유값이 발생하는 경우에 대해 정리 3을 적용한다.
• 수치적 적분을 통한 ODE 적분과 다양한 예제에서의 이산 시간 궤적과의 비교를 통해 동등성을 검증한다.
• 연속 시간 변환을 통해 불규칙하게 샘플링된 데이터(예: fMRI 스캔)에 대한 고해상도 보간 및 외삽을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이산 시간 ReLU 기반 RNN이 수학적으로 등가의 연속 시간 ODE 시스템으로 변환될 수 있는가?
• RQ2 연속 시간 ODE가 원래 이산 시간 시스템의 역학을 유지하는 조건은 무엇인가?
• RQ3 장기적 의존성을 모델링하는 데 필수적인 고유값이 1인 경우도 이 변환에 대응할 수 있는가?
• RQ4 이 방법은 실제 시간 시리즈 데이터(예: fMRI 신호)에 대해 부드럽고 고해상도의 보간 및 외삽을 생성할 수 있는가?
• RQ5 이산 시스템이 혼돈 행동 또는 순환 역학을 보일 경우에도 이 변환이 유효한가?

주요 결과

• 시스템 행렬이 역행성이고 고유값이 1이 아닐 경우를 포함한 다양한 조건 하에서, 이 변환은 원래 이산 시간 RNN과 수학적으로 동등하다.
• 고유값이 1인 경우도 성공적으로 처리하며, 이는 추가 문제 예제를 통해 장기 의존성 모델링에 필수적임을 입증한다.
• 수치 시뮬레이션을 통해 연속 시간 ODE 설정이 이산 시스템에서 관찰된 혼돈 역학을 정확히 재현함을 확인하였다(그림 4 참조).
• 인간 fMRI 데이터에서는 원래 3초 TR에 비해 10배 높은 해상도로 부드럽고 고해상도의 보간을 제공하며, 이는 이산 예측 결과와 일치하면서도 연속적인 외삽이 가능하다.
• 상태 공간 역학이 유지되어 흐름장 시각화 및 시간 스케일 분리와 같은 이론적 분석이 가능해지며, 이는 이산 시간에서는 어려운 작업이다.
• 다변량 BOLD fMRI 시리즈(20개 채널, 10개 잠재 상태)에 대한 성공적인 적용을 통해 실제 데이터에 대한 적용 가능성을 입증하였다.