[논문 리뷰] Physics-informed deep generative models

Yibo Yang, Paris Perdikaris|arXiv (Cornell University)|2018. 12. 09.

Model Reduction and Neural Networks참고 문헌 22인용 수 59

한 줄 요약

본 논문은 기본 물리 법칙을 만족하도록 심층 생성 모델을 제약함으로써 PDE로 지배되는 시스템에서 불확실성을 전이시키기 위한 물리정보 기반 적대적 변분 프레임워크를 제시합니다. Burgers 방정식을 표준 테스트 사례로 보여줍니다.

ABSTRACT

We consider the application of deep generative models in propagating uncertainty through complex physical systems. Specifically, we put forth an implicit variational inference formulation that constrains the generative model output to satisfy given physical laws expressed by partial differential equations. Such physics-informed constraints provide a regularization mechanism for effectively training deep probabilistic models for modeling physical systems in which the cost of data acquisition is high and training data-sets are typically small. This provides a scalable framework for characterizing uncertainty in the outputs of physical systems due to randomness in their inputs or noise in their observations. We demonstrate the effectiveness of our approach through a canonical example in transport dynamics.

연구 동기 및 목표

• 데이터가 제한된 물리적 시스템에 대한 견고한 불확실성 정량화를 동기를 부여합니다.
• PDE 법칙을 포함하도록 확률적이고 물리 제약된 생성 모델을 개발합니다.
• 딥 생성 모델을 학습하고 규제하기 위한 적대적 추론 프레임워크를 제공합니다.
• Burgers 방정식의 운반-동역학 예제에서 이 접근법을 시연합니다.

제안 방법

• 물리적 제약으로 u_t+N_x u=0를 사용하고, 조건부 잠재 변수 모델 p(u|x,t)=∫p(u|x,t,z)p(z|x,t)dz를 형식화합니다.
• 물리정보 신경망을 사용하여 PDE 잔류량 r_theta(x,t)=∂t f_theta(x,t)+N_x f_theta(x,t)를 인코딩하고 데이터 손실과 잔류 손실을 최소화합니다.
• 판별기 T_psi와 인코더 q_phi(z|x,t,u)을 이용한 적대적 설정으로 p_theta(x,t,u)를 q(x,t,u)와 연결하여 역 KL 목표로 학습합니다.
• 계산 가능한 엔트로피 하한 h(p_theta(x,t,u))≥h(p(z))+E[...] [log q_phi(z|x,t,u)]를 도출하여 학습을 가능하게 합니다.
• PDE 잔류 페널티 β L_PDE(theta)와 함께 판별자 손실 L_D(psi)를 최대화하고 생성자 손실 L_G(theta,phi)를 최소화하는 상호 결합 목표를 최적화합니다.
• λ로 제어되는 엔트로피 규제와 순환 일관 잠재 인코딩을 통한 안정성을 시연합니다.

실험 결과

연구 질문

• RQ1 물리정보를 반영한 확률적 생성 모델이 비선형 PDE 동역학을 통해 입력 노이즈를 정확하게 전이시키는가?
• RQ2 PDE 잔류를 규제로 도입하는 것이 데이터가 적은 상황에서 데이터 효율성과 불확실성 정량화를 향상시키는가?
• RQ3 물리 제약 생성 모델에서 적대적 학습 프레임워크가 사후 샘플링과 모드 커버리지에 어떤 영향을 미치는가?
• RQ4 발전 중인 쇼크가 있는 영역에서 예측 불확실성 집중도에 PDE 제약이 미치는 영향은 무엇입니까(예: Burgers 방정식)?

주요 결과

• 제안된 p_theta(u|x,t,z)는 입력 노이즈의 전파로 인한 시공간 PDE 해의 불확실성을 포착합니다.
• Burgers 방정식에서 충격 형성 근처에 불확실성이 집중되며 비가우시안 예측 통계치를 제공합니다.
• PDE 잔류 규제기를 포함한 적대적 학습은 제한된 데이터 하에서 강건성을 향상시키고 모드 붕괴를 완화합니다.
• Burgers 방정식 실험은 초기 조건 노이즈의 비선형 동역학을 통한 효과적 전이를 보여줍니다.
• 체계적 연구는 초기화 및 아키텍처에 대한 강건성을 보여주고, 적대적 학습 하이퍼파라미터에 대한 민감성을 강조합니다.