[논문 리뷰] Physics-constrained, data-driven discovery of coarse-grained dynamics

Lukas Felsberger, Phaedon‐Stelios Koutsourelakis|arXiv (Cornell University)|2018. 02. 11.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 3

한 줄 요약

이 논문은 확률적 상태공간 모델과 확률적 변분 추론을 사용하여 미세 스케일 시뮬레이션 데이터로부터 물리적 제약을 가진 데이터 기반의 거시적 동역학을 발견하는 프레임워크를 제안한다. 이는 전체 미세 스케일 진화의 예측 모델링을 가능하게 하고, 정보 손실으로 인한 예측 불확실성을 정량화하며, 희소 베이지안 학습을 통해 거시적 동역학의 주요 특징을 드러낸다. 이는 고차원 랜덤 워커 시스템에서 검증되었다.

ABSTRACT

The combination of high-dimensionality and disparity of time scales encountered in many problems in computational physics has motivated the development of coarse-grained (CG) models. In this paper, we advocate the paradigm of data-driven discovery for extract- ing governing equations by employing fine-scale simulation data. In particular, we cast the coarse-graining process under a probabilistic state-space model where the transition law dic- tates the evolution of the CG state variables and the emission law the coarse-to-fine map. The directed probabilistic graphical model implied, suggests that given values for the fine- grained (FG) variables, probabilistic inference tools must be employed to identify the cor- responding values for the CG states and to that end, we employ Stochastic Variational In- ference. We advocate a sparse Bayesian learning perspective which avoids overfitting and reveals the most salient features in the CG evolution law. The formulation adopted enables the quantification of a crucial, and often neglected, component in the CG process, i.e. the pre- dictive uncertainty due to information loss. Furthermore, it is capable of reconstructing the evolution of the full, fine-scale system. We demonstrate the efficacy of the proposed frame- work in high-dimensional systems of random walkers.

연구 동기 및 목표

• 미세 스케일 시뮬레이션 데이터로부터 거시적 상태 변수와 그들의 동역학을 별도의 변수 선택 및 모델 구축 절차 없이 통합적으로 발견하는 종합적인 프레임워크를 개발하는 것.
• 기존 접근 방식에서 자주 간과되는 정보 손실로 인한 예측 불확실성을 정량화하는 데 있어 핵심적인 과제를 해결하는 것.
• 추론된 거시적 모델에서 전체 미세 스케일 시스템 진화를 복원함으로써, 거시 변수로 완전히 캡처되지 않은 관측량에 대해서도 유용성을 보장하는 것.
• 과적합을 방지하고 거시적 동역학 법칙에서 가장 관련성이 높은 항목을 식별하기 위해 희소 베이지안 학습을 활용하는 것.
• 확률적 그래픽 모델로 거시화 과정을 공식화하여, 확률적 추론과 확률적 변분 추론을 통한 원칙적인 추론 및 학습을 가능하게 하는 것.

제안 방법

• 거시적 상태의 진화를 위한 전이 법칙과 거시적에서 미세적 상태로의 맵핑을 위한 방출 법칙을 포함하는 확률적 상태공간 모델로 거시화를 공식화한다.
• 고차원 시뮬레이션에서의 스케일러블 학습을 가능하게 하기 위해, 미세 스케일 데이터를 바탕으로 거시적 상태에 대한 확률적 추론을 수행하기 위해 확률적 변분 추론을 사용한다.
• 모델 파라미터에 계층적 사전 분포를 도입하여 희소 베이지안 학습의 시각을 도입함으로써 모델의 단순성과 과적합 방지를 촉진한다.
• 파arametrized된 거시적에서 미세적 상태로의 맵핑을 사용하여 거시적 변수로부터 전체 미세 스케일 상태를 복원함으로써 전체 시스템 복원을 가능하게 한다.
• 변분 하한(증거 하한)의 효율적 최적화를 위해 재구성 기법을 적용하여, ADAM를 통한 효율적 훈련을 가능하게 한다.
• 해석적 기대값과 몬테 카를로 추정을 사용하여 변분 파라미터에 대한 폐쇄형 도함수를 유도하며, 특히 거시적에서 미세적 가능도에서의 비가역 항에 대해 이를 처리한다.

실험 결과

연구 질문

• RQ1 정보 손실로 인한 불확실성을 정량화하는 방식으로, 어떻게 미세 스케일 시뮬레이션 데이터로부터 거시적 동역학을 발견할 수 있는가?
• RQ2 차원 축소를 별도로 수행하지 않고도, 통합된 프레임워크를 통해 거시 변수와 그들의 진화 법칙을 동시에 학습할 수 있는가?
• RQ3 어떻게 희소 베이지안 학습을 활용하여 거시적 동역학에서 가장 물리적으로 관련성이 높은 항목을 식별할 수 있는가?
• RQ4 학습된 거시적 모델에서 전체 미세 스케일 시스템을 어느 정도 복원할 수 있는가?
• RQ5 확률적 추론과 변분 근사가 고차원 시스템의 스케일러블하고 데이터 기반의 거시화를 가능하게 하는 데서 수행하는 역할은 무엇인가?

주요 결과

• 프레임워크는 거시적 상태로부터 전체 미세 스케일 시스템의 진화를 성공적으로 복원하여, 거시적 모델이 선택된 거시 변수를 초월해 예측 가능하다는 것을 입증한다.
• 정보 손실로 인한 예측 불확실성이 정량화되고 명시적으로 모델링되어, 결정론적 또는 비확률적 접근 방식에 비해 핵심적인 이점을 제공한다.
• 희소 베이지안 학습은 거시적 동역학 법칙에서 가장 중요한 항목을 식별하여 모델의 복잡성을 감소시키고 해석 가능성을 향상시킨다.
• 확률적 변분 추론의 사용은 고차원의 미세 스케일 데이터에서의 스케일러블 학습을 가능하게 하였으며, 랜덤 워커 시스템에서 이를 입증하였다.
• 확률적 공식화는 단일이고 통합된 프레임워크 내에서 거시적 전이 동역학과 거시적에서 미세적 맵핑을 원칙적으로 학습할 수 있도록 한다.
• 증거 하한의 비가역 로그 가능도 항에 대한 몬테 카를로 추정은 효과적이며, ADAM를 통한 역전파를 통한 엔드 투 엔드 훈련을 가능하게 한다.