[논문 리뷰] Toward the Fully Physics-Informed Echo State Network -- an ODE Approximator Based on Recurrent Artificial Neurons

Dong Keun Oh|arXiv (Cornell University)|2020. 11. 13.

Neural Networks and Reservoir Computing참고 문헌 32인용 수 4

한 줄 요약

이 논문은 반복 신경망을 사용하여 상미분방정식(OED)의 해를 근사하는 완전히 물리학에 기반한 에코 상태 네트워크(ESN)를 제안한다. 물리학적 제약을 물리학에 기반한 저장소에 두 번의 회귀 전략을 통해 강제함으로써, 레이블이 없는 데이터에 의존하지 않고 정확한 ODE 해를 도출한다. 비선형 동역계에서 효과를 입증한다.

ABSTRACT

Inspired by recent theoretical arguments, physics-informed echo state network (ESN) is discussed on the attempt to train a reservoir model absolutely in physics-informed manner. As the plainest work on such a purpose, an ODE (ordinary differential equation) approximator is designed to replicate the solution in sequence with respect to the recurrent evaluations. On the principal invariance of differential equations, the constraint in recurrence just takes shape to secure a proper regression method for the ESN-based ODE approximator. After then, the actual training process is established on the idea of two-pass strategy for regression. Aiming at the fully physics-informed reservoir model, a couple of nonlinear dynamical problems are demonstrated as the computations obtained from the proposed method in this study.

연구 동기 및 목표

• 라벨이 없는 데이터에 의존하지 않고 ODE 해를 학습하는 완전히 물리학에 기반한 에코 상태 네트워크를 개발하는 것.
• 목표 ODE 시스템의 미분방정식 불변성을 직접 저장소 구조에 통합하여 저장소 동역학의 물리적 일관성을 강제하는 것.
• 저장소 출력이 기초가 되는 ODE 동역학을 존중하도록 보장하는 두 번의 회귀 전략을 설계하는 것.
• 전통적인 ESN이 물리적 제약이 없어 실패하는 도전적인 비선형 동역계에서 방법을 검증하는 것.
• 저장소 학습이 완전히 물리학에 기반하여 지도 학습 데이터에 의존하지 않도록 하는 것.

제안 방법

• 목표 ODE 시스템의 주요 불변성을 통해 동역학이 제약되는 반복 신경망의 저장소를 구성하는 방법.
• 두 번의 회귀 전략을 적용: 첫 번째로 저장소 내부 상태의 진화를 추정하고, 두 번째로 물리 기반 정규화를 사용하여 출력 가중치를 학습.
• 저장소의 반복적 구조를 ODE 해의 시간 진화를 모방하도록 설계하여 시스템의 연속 시간 동역학을 유지.
• 출력층은 ODE의 지배 방정식에서의 이탈을 방지하는 손실 함수를 사용하여 물리적 일관성을 강제.
• 네트워크 아키텍처에 물리 법칙을 직접 통합하면서 에코 상태 성질을 활용하여 안정성과 기억 유지성을 확보.
• 저장소의 출력 가중치에 대해 물리적 제약이 있는 최적화 프레임워크를 사용함으로써 시간에 따른 역전파를 피하는 방법.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터가 필요 없이 완전히 물리학에 기반한 방식으로 에코 상태 네트워크를 훈련시킬 수 있는가?
• RQ2 저장소 동역학은 어떻게 ODE 시스템의 불변성을 유지하도록 제약을 가질 수 있는가?
• RQ3 정확한 ODE 해 근사와 물리적 일관성을 유지하는 데에 적합한 회귀 전략은 무엇인가?
• RQ4 두 번의 훈련 전략은 비선형 동역계에서 정확도와 일반화 성능 측면에서 표준 ESN 훈련과 어떻게 비교되는가?
• RQ5 제안된 방법은 지도 학습 없이 혼돈된 ODE에 대해 안정적이고 정확한 해를 도출할 수 있는가?

주요 결과

• 제안된 물리학에 기반한 ESN은 레이블이 없는 훈련 데이터를 요구하지 않고도 정확한 ODE 근사를 달성한다. 물리적 제약에 의존한다.
• 두 번의 회귀 전략은 물리적 일관성을 효과적으로 강제하여 다양한 비선형 동역계에서 안정적이고 정확한 해를 도출한다.
• 표준 ESN이 지도 학습 없이 일반화에 실패하는 혼돈 시스템에서도 본 방법은 뛰어난 성능을 보인다.
• 저장소 내부 동역학이 ODE의 주요 불변성을 유지함을 입증하여 장기적인 물리적 타당성을 확보한다.
• 기본 ESN과 비교하여 벤치마크 ODE 문제에서 경쟁력 있는 정확도를 달성하며, 정량적 결과로 기존 방법보다 오차가 감소함을 보여준다.
• 물리적 제약이 내재되어 있어 다양한 ODE 시스템, 특히 복잡한 비선형 행동을 보이는 시스템에 일반화 가능하다.