[논문 리뷰] Deep learning as closure for irreversible processes: A data-driven generalized Langevin equation

Antonio Russo, Miguel A. Durán-Olivencia외 2명|arXiv (Cornell University)|2019. 03. 22.

Advanced Thermodynamics and Statistical Mechanics인용 수 4

한 줄 요약

이 논문은 일반화된 랑주브 방정식(GLE)의 알려지지 않은 기억 커널과 잡음 항을 근사하기 위한 딥러닝 접근법을 제안한다. 비가역 과정을 위한 클로처를 학습하기 위해 신경망을 사용한다. 히우리스틱 피팅 함수 대신 데이터 기반 신경망을 사용함으로써, 콜로이드 역학, 입자 체인, 기후 모델, 금융 시계열을 포함한 다양한 시스템에서 더 높은 정확도와 강건성을 달성한다.

ABSTRACT

The ultimate goal of physics is finding a unique equation capable of describing the evolution of any observable quantity in a self-consistent way. Within the field of statistical physics, such an equation is known as the generalized Langevin equation (GLE). Nevertheless, the formal and exact GLE is not particularly useful, since it depends on the complete history of the observable at hand, and on hidden degrees of freedom typically inaccessible from a theoretical point of view. In this work, we propose the use of deep neural networks as a new avenue for learning the intricacies of the unknowns mentioned above. By using machine learning to eliminate the unknowns from GLEs, our methodology outperforms previous approaches (in terms of efficiency and robustness) where general fitting functions were postulated. Finally, our work is tested against several prototypical examples, from a colloidal systems and particle chains immersed in a thermal bath, to climatology and financial models. In all cases, our methodology exhibits an excellent agreement with the actual dynamics of the observables under consideration.

연구 동기 및 목표

• 일반화된 랑주브 방정식(GLE)을 사용하여 통계역학에서 비가역 과정을 모델링하는 데 있어 근본적인 과제를 해결한다. GLE는 비마르코프 기억과 숨겨진 자유도로 인해 해석적으로 다루기 어려운 경우가 있다.
• GLE의 기억 커널과 잡음 항에 대해 히우리스틱 피팅 함수에 의존하는 전통적 접근법의 한계를 극복한다.
• 관측 가능한 궤적에서 직접 클로저 항을 학습하는 데이터 기반 프레임워크를 개발하여, 기저 자유도에 대한 명시적 지식 없이도 시스템 역학을 정확하게 예측할 수 있도록 한다.
• 콜로이드 역학, 입자 체인, 기후 모델, 금융 시계열을 포함한 다양한 물리적 및 확률적 시스템에서 방법을 검증한다.

제안 방법

• 관측 대상의 시간 시리즈 데이터로부터 직접 기억 커널과 잡음 통계를 신경망이 학습하도록 한다.
• GLE를 알려지지 않은 기억 및 잡음 항을 가진 비마르코프 스토케스틱 미분방정식으로 공식화하고, 이를 딥 뉴럴 네트워크로 매개변수화한다.
• 관측된 궤적을 사용하여 예측 오차를 최소화하도록 신경망을 훈련시켜, GLE의 클로저를 효과적으로 학습한다.
• 예측된 궤적과 실제 궤적 간의 차이를 기반으로 한 손실 함수를 사용하여, GLE의 알려지지 않은 구성 요소를 엔드 투 엔드로 학습한다.
• 훈련된 신경망 클로저를 GLE 프레임워크에 통합하여 관측 가능한 변수의 역학을 고정밀도로 시뮬레이션한다.
• 비균형 및 비정규 과정을 포함한 다양한 시스템에서의 테스트를 통해 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 기저 자유도가 알려지지 않은 상황에서 딥 뉴럴 네트워크가 일반화된 랑주브 방정식의 기억 커널과 잡음 통계를 효과적으로 학습할 수 있는가?
• RQ2 다양한 물리적 및 확률적 시스템에서, 히우리스틱 피팅 함수에 비해 데이터 기반 신경망 클로저의 정확도와 강건성은 어떻게 비교되는가?
• RQ3 제안된 방법은 콜로이드 입자, 입자 체인, 기후 모델, 금융 시계열과 같은 시스템에서 비마르코프성 및 비정규성 동역학을 어느 정도 잘 포착할 수 있는가?
• RQ4 이 방법은 새로운 데이터에 일반화되어 초기 조건과 잡음 수준이 변화하더라도 안정성을 유지할 수 있는가?

주요 결과

• 전통적인 방법에 비해 훨씬 뛰어난 예측 정확도와 강건성을 보이며, 딥러닝 기반 GLE 클로저가 성능을 뛰어나게 한다.
• 콜로이드 시스템, 입자 체인, 기후 모델, 금융 시계열을 포함한 모든 테스트 시스템에서 진짜 역학과 뛰어난 일치를 보였다.
• 신경망은 일반적으로 분석적 또는 파rametric 접근법으로는 다루기 어려운 복잡한 비마르코프 기억 효과와 비정규 잡음 구조를 성공적으로 학습했다.
• 기본 역학에 대한 사전 지식 없이도 새로운 궤적에 대해 잘 일반화되며, 높은 예측 성능를 유지한다.
• 강한 기억 효과와 숨겨진 자유도를 가진 시스템에서도 비가역 과정의 관측 가능한 변수에 대해 장기 예측을 정확하게 수행할 수 있다.