[논문 리뷰] Solving Inverse Physics Problems with Score Matching

Benjamin Holzschuh, Simona Vegetti외 1명|arXiv (Cornell University)|2023. 01. 24.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 SMDP를 도입합니다. 확산에서 영감을 얻은 방법은 역 물리 시뮬레이터와 학습된 보정을 사용하여 진화하는 물리 시스템의 역문제를 해결하며, 점수 매칭(score matching) 및 우도 학습(likelihood training)과 이론적으로 연결됩니다.

ABSTRACT

We propose to solve inverse problems involving the temporal evolution of physics systems by leveraging recent advances from diffusion models. Our method moves the system's current state backward in time step by step by combining an approximate inverse physics simulator and a learned correction function. A central insight of our work is that training the learned correction with a single-step loss is equivalent to a score matching objective, while recursively predicting longer parts of the trajectory during training relates to maximum likelihood training of a corresponding probability flow. We highlight the advantages of our algorithm compared to standard denoising score matching and implicit score matching, as well as fully learned baselines for a wide range of inverse physics problems. The resulting inverse solver has excellent accuracy and temporal stability and, in contrast to other learned inverse solvers, allows for sampling the posterior of the solutions.

연구 동기 및 목표

• 진화하는 시간에 따른 물리 시스템의 역문제를 해결하는 것을 목표로 합니다. 단, 알려진 것은 최종 상태뿐입니다.
• 근사 역 물리 시뮬레이터와 학습된 보정을 결합하여 동역학을 역으로 추정하는 방법을 개발합니다.
• 학습된 보정과 점수 매칭 / 확률 흐름 개념 간의 이론적 연결을 제공합니다.
• 다양한 역물리 문제에 걸쳐 견고성, 정확성 및 후방 샘플링 능력을 보여줍니다.

제안 방법

• 물리의 전방을 물리 시뮬레이터 P와 확산 g(t)에 의해 구동되는 확률적 미분 방정식으로 모델링합니다.
• 미분 가능한 역 물리 학 Step tilde{P}^{-1}와 이전 상태를 예측하는 신경망 보정 s_theta(x,t)를 도입합니다(Equation 2).
• 1-step 손실(Equation 3) 또는 다중 스텝 슬라이딩 윈도우 손실(Equation 4)을 사용해 trajactory 보정을 개선합니다.
• Delta t → 0일 때 1-step 학습이 점수 매칭에 근사함을 보이고(Theorem 3.1), 다중 스텝 학습은 우도에 대한 변분 하한을 확률 흐름 ODE를 통해 최대화합니다(Theorem 3.2).
• 추론은 샘플링을 위해 신경 SDE(Equation 9) 또는 ODE(확률 흐름) 변형에 연결되어 있으며, 후방 또는 최대 가능도 궤적을 얻을 수 있습니다.
• 훈련 일정(S를 2에서 S_max까지) 및 추론 설정(SMDP SDE 대 SMDP ODE)에 대한 실용적 지침을 제공합니다.

실험 결과

연구 질문

• RQ1 역 물리 문제를 역 근사 물리 스텝과 학습된 보정을 결합하여 해결할 수 있는가?
• RQ2 학습된 보정 s_theta가 전방 물리 SDE의 점수 매칭을 수행하는가, 그리고 다중 스텝 학습이 우도 학습과 어떤 관계가 있는가?
• RQ3 1-step 대 다중 스텝 학습이 역 물리 문제의 정확도, 안정성 및 후방 샘플링에 미치는 영향은 무엇인가?
• RQ4 차별 가능 역 물리 스텝을 도입하는 것이 완전히 학습된 베이스라인에 비해 다양한 물리 도메인에서 어떤 empirical 혜택을 제공하는가?

주요 결과

Method	p_flow_ODE_100%	p_flow_ODE_10%	p_flow_ODE_1%	p_flow_SDE_100%	p_flow_SDE_10%	p_flow_SDE_1%
다단계	0.97	0.91	0.81	0.99	0.94	0.85
1단계	0.78	0.44	0.41	0.93	0.71	0.75
ISM	0.19	0.15	0.01	0.92	0.94	0.52
SSM-VR	0.17	0.49	0.27	0.88	0.94	0.67

• 제안된 SMDP 프레임워크는 역 물리 문제에 대해 정확하고 시간적으로 안정적인 재구성을 달성하고 후방 샘플링을 가능하게 합니다.
• 1-step 학습은 Δt → 0일 때 점수 매칭과 일치하여 이 접근법을 이론적으로 정당화합니다.
• 다중 스텝 학습은 확률 흐름 ODE의 최대 우도 학습에 해당하며 궤적 안정성을 향상시킵니다.
• 실험 전반(1D toy SDE, 확률적 열 방정식, 부력 주도 유동, 알려지지 않은 동역학의 난류)에서 SMDP가 다단계 손실을 사용하는 경우 denoising/implicit score matching 베이스라인 및 완전히 학습된 대안들보다 우수합니다.
• ODE 변형은 결정적이고 최대 우도 궤적을 제공하는 반면, SDE 변형은 확률적 특성으로 다양한 샘플과 스펙트럴 충실도를 더 잘 제공합니다.