[논문 리뷰] Unsupervised Reservoir Computing for Solving Ordinary Differential Equations

Marios Mattheakis, Hayden Joy외 1명|arXiv (Cornell University)|2021. 08. 25.

Neural Networks and Reservoir Computing참고 문헌 45인용 수 4

한 줄 요약

이 논문은 고정된 내부 가중치를 가진 순환 신경망과 학습 가능한 선형 출력층을 사용하여 미분방정식(ODE)을 해결하기 위한 비지도 임펄스 컴퓨팅(RC) 프레임워크를 제안한다. 시간 도함수를 계산하기 위한 백프로파게이션 기반 방법을 제안하고, 베이지안 최적화와 경사하강법을 조합하여 고차원의 초매개변수 공간을 효율적으로 탐색하며, 선형 및 비선형 ODE에 대해 다양한 초기 조건과 시간 범위에서 강건한 해를 달성한다.

ABSTRACT

There is a wave of interest in using unsupervised neural networks for solving differential equations. The existing methods are based on feed-forward networks, {while} recurrent neural network differential equation solvers have not yet been reported. We introduce an unsupervised reservoir computing (RC), an echo-state recurrent neural network capable of discovering approximate solutions that satisfy ordinary differential equations (ODEs). We suggest an approach to calculate time derivatives of recurrent neural network outputs without using backpropagation. The internal weights of an RC are fixed, while only a linear output layer is trained, yielding efficient training. However, RC performance strongly depends on finding the optimal hyper-parameters, which is a computationally expensive process. We use Bayesian optimization to efficiently discover optimal sets in a high-dimensional hyper-parameter space and numerically show that one set is robust and can be used to solve an ODE for different initial conditions and time ranges. A closed-form formula for the optimal output weights is derived to solve first order linear equations in a backpropagation-free learning process. We extend the RC approach by solving nonlinear system of ODEs using a hybrid optimization method consisting of gradient descent and Bayesian optimization. Evaluation of linear and nonlinear systems of equations demonstrates the efficiency of the RC ODE solver.

연구 동기 및 목표

• 피드포워드 네트워크의 성공에도 불구하고, 순환 신경망(RNN) 기반의 비지도 ODE 해법에 대한 부족함을 보완한다.
• 에코스테이트 성질과 고정된 내부 가중치를 활용하여, ODE 해법을 위한 빠르고 안정적인 학습을 가능하게 하는 임펄스 컴퓨팅(RC) 프레임워크를 개발한다.
• 물리 기반 신경 해법에 필수적인 조건인 백프로파게이션 없이 순환망 출력의 시간 도함수를 계산하는 과제를 해결한다.
• 경사하강법과 베이지안 최적화(TURBO-1)를 조합한 하이브리드 최적화 전략을 설계하여 고차원의 초매개변수 공간을 효율적으로 탐색한다.
• 단일 최적의 초매개변수 조합이 다양한 초기 조건과 시간 간격에 걸쳐 일반화됨을 입증한다.

제안 방법

• 에코스테이트 성질을 보장하는 분포에서 무작위로 초기화된 고정된 내부 가중치를 가진 에코스테이트 레저보아르 네트워크를 사용한다.
• 백프로파게이션 없이 시간 도함수를 연속적인 시간 근사로 계산하는 방법을 제안하여, ODE에 대한 물리 기반 손실 함수를 가능하게 한다.
• 일阶 선형 비동차 ODE의 출력 가중치에 대해 닫힌 형태의 해를 유도하여 최적화가 필요 없이 정확한 해 계산을 가능하게 한다.
• 하이브리드 최적화 파이프라인을 적용: 베이지안 최적화(TURBO-1)로 초매개변수 공간을 탐색하고, 비선형 시스템의 출력 가중치를 정교화하기 위해 경사하강법을 사용한다.
• rcTorch라는 PyTorch 기반 라이브러리에 통합된 베이지안 최적화를 구현하여 효율적인 학습과 초매개변수 최적화를 가능하게 한다.
• 균일하게 간격을 둔 시간 입력 $ t $ 를 사용하여 RC를 학습함으로써 현재 적용 범위를 ODE로 제한하고, 다변수 입력으로의 확장 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 순환 신경망을 사용한 비지도 ODE 해법에 대해 시간에 따른 백프로파게이션 없이 임펄스 컴퓨팅을 어떻게 적용할 수 있는가?
• RQ2 물리 기반 손실 함수에 적합한, 백프로파게이션 없이도 미분 가능한 방식으로 순환망 출력의 시간 도함수를 계산할 수 있는가?
• RQ3 베이지안 최적화로 학습된 단일 초매개변수 조합이 다양한 초기 조건과 시간 간격에 걸쳐 일반화 가능한가?
• RQ4 제안된 하이브리드 최적화(Bayesian + 경사하강법)가 비선형 ODE 시스템에 대해 최적의 초매개변수와 가중치를 효과적이고 효율적으로 찾을 수 있는가?
• RQ5 선형 ODE의 출력 가중치에 대해 닫힌 형태의 해를 도출하고, 반복적 학습을 제거함으로써 계산 효율성을 향상시킬 수 있는가?

주요 결과

• 제안된 비지도 임펄스 컴퓨팅 프레임워크는 백프로파게이션 기반 학습 과정 없이 선형 및 비선형 ODE 시스템을 성공적으로 해결한다.
• 일阶 선형 비동차 ODE에 대해 출력 가중치에 대한 닫힌 형태의 공식을 도출하여 최적화 없이 정확한 해 계산이 가능해졌다.
• TURBO-1를 사용한 베이지안 최적화가 고차원의 초매개변수 공간을 효과적으로 탐색하여 다양한 초기 조건과 시간 범위에서 일반화 가능한 강건한 초매개변수 조합을 식별했다.
• 동일한 최적의 초매개변수 설정이 다양한 시간 간격과 다른 초기 조건에서 ODE를 해결하는 데도 효과적이었으며, 높은 일반화 능력을 입증했다.
• 학습 과정이 계산적으로 효율적이었으며, 전통적인 피드포워드 신경망 해법보다 속도와 에너지 효율성 측면에서 뛰어난 잠재력을 보였다.
• 이 방법은 편미분방정식과 고유값 문제로의 확장이 가능하며, 낮은 에너지 소비와 고속 특성 덕분에 뉴모르픽 하드웨어에 구현될 잠재력이 크다.