[논문 리뷰] Neural Integration of Continuous Dynamics

Margaret Trautner, Sai Ravela|arXiv (Cornell University)|2019. 11. 23.

Model Reduction and Neural Networks참고 문헌 2인용 수 4

한 줄 요약

이 논문은 표준 수치 적분기법—명시적 룬게쿠타 및 반의미적 아담스-바슈포스-몰턴 방법—을 사용하여 연속시간 동역학 시스템을 신경망으로 정확히 통합하는 컴act한 순환 이산시간 신경망(DtNN)을 소개한다. 다항수계에서 수치적 적분과 정확히 동일한 결과를 얻으며, 로렌츠-63 모델을 통해 이를 입증하였다.

ABSTRACT

Neural dynamical systems are dynamical systems that are described at least in part by neural networks. The class of continuous-time neural dynamical systems must, however, be numerically integrated for simulation and learning. Here, we present a compact neural circuit for two common numerical integrators: the explicit fixed-step Runge-Kutta method of any order and the semi-implicit/predictor-corrector Adams-Bashforth-Moulton method. Modeled as constant-sized recurrent networks embedding a continuous neural differential equation, they achieve fully neural temporal output. Using the polynomial class of dynamical systems, we demonstrate the equivalence of neural and numerical integration.

연구 동기 및 목표

• 외부 수치적 해법기반의 의존 없이 연속 동역학 시스템의 수치적 통합을 수행하는 완전히 신경망 기반의 순환 이산시간 네트워크를 개발하는 것.
• 다항수계 동역학 시스템에 대해 DtNN를 통한 신경망 통합이 고전적 수치적 통합의 정밀도를 유지함을 입증하는 것.
• 기존 방법이 순서에 따라 크기가 증가하는 것과는 달리, 네트워크 아키텍처가 통합 순서에 관계없이 컴act하고 불변함을 보여주는 것.
• 지배 방정식을 PolyNet 기반 신경 회로에 통합하여, 시스템 역학에서 이론을 기반으로 한 학습의 기반을 마련하는 것.
• 외부 수치적 적분기반을 제거하고 순수 신경계산을 통해 신경 ODE의 종단 간 전이 가능한 기계학습 및 시뮬레이션을 가능하게 하여 환경 모델링 및 적응형 시스템 등에의 적용 지원

제안 방법

• 명시적 룬게쿠타 방법의 도함수 계산과 수치적 스텝을 하나의 신경 회로에 통합한 순환 DtNN를 구축한다.
• 곱셈형 뉴런을 사용하여 순서 불변 아키텍처를 구현: 통합 순서가 증가하더라도 네트워크 크기가 증가하지 않는다.
• 동일한 방법론을 반의미적 방법에 적용하기 위해, 이중 단계 아담스-바슈포스 예측기와 이중 단계 아담스-몰턴 보정기를 하나의 순환 네트워크에 결합한다.
• 정확한 통합을 위해 다항비선형성을 갖는 연속시간 신경망인 PolyNets를 기반 동역학 시스템 표현으로 사용한다.
• 신경망 통합 과정을 순환 네트워크가 생성하는 이산 시간 출력의 시퀀스로 정의하며, 각 출력은 해의 한 시간 단계를 나타낸다.
• 로렌츠-63 시스템에서 알려진 다항계수를 갖는 경우, 신경망 통합과 수치적 통합 간 수렴이 기계 정밀도 수준까지 이루어짐을 보여줌으로써 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 단일 순환 이산시간 신경망이 고전적 해법기와 동일한 정밀도로 연속 동역학 시스템의 수치적 통합을 수행할 수 있는가?
• RQ2 제안된 신경망 통합 방법이 기존의 신경 회로 구현 방식과 달리 통합 순서에 관계없이 고정된 네트워크 크기를 유지하는가?
• RQ3 PolyNets가 다항미분방정식으로 지배되는 시스템에 대해 얼마나 정확한 신경망 통합을 가능하게 하는가?
• RQ4 혼돈 시스템인 로렌츠-63과 같은 경우, 신경망 통합이 표준 수치적 통합과 수렴성 및 수치 표현 측면에서 어떻게 비교되는가?
• RQ5 지배 방정식이 알려져 있지만 매개변수는 데이터로부터 학습되는 경우, 신경망 통합이 시스템 역학에서 이론 기반 학습의 기초로 사용될 수 있는가?

주요 결과

• 제안된 순환 DtNN는 시스템이 다항식일 경우 연속시간 동역학 시스템의 정확한 신경망 통합을 수행하며, 고전적 수치적 통합과 정확히 동일한 결과를 얻는다.
• 로렌츠-63 시스템의 경우, PolyNets를 통한 신경망 통합이 기계 정밀도 수준까지 수치적 통합과 수렴함을 보여, 수치적 정확성을 입증하였다.
• 통합 순서가 룬게쿠타 또는 아담스-바슈포스-몰턴 방법이어도 네트워크 크기가 일정하게 유지되어 확장성 있고 컴팩트한 구현이 가능하다.
• PolyNets는 로렌츠-63 시스템을 정확히 표현하기 위해 단 두 개의 뉴런만을 필요로 하는 반면, 표준 피드포워드 네트워크의 경우 tanh 활성화 함수를 사용할 경우 최소 6개의 뉴런이 필요함을 보여, 효율성의 우수성을 입증하였다.
• 외부 수치적 적분기반을 제거하고 순수 신경계산만으로 신경 ODE의 종단 간 전이 가능한 기계학습 및 시뮬레이션을 가능하게 하였다.
• 기존의 블랙박스 신경망과 비교해 데이터 및 매개변수 요구량을 줄일 수 있도록 알려진 지배 방정식을 네트워크 구조에 통합함으로써, 이론 기반 학습을 지원하는 데 기여하였다.