[논문 리뷰] Learning and Meta-Learning of Stochastic Advection-Diffusion-Reaction Systems from Sparse Measurements

Xiaoli Chen, Jinqiao Duan외 1명|arXiv (Cornell University)|2019. 10. 21.

Model Reduction and Neural Networks참고 문헌 17인용 수 10

한 줄 요약

이 논문은 희소하고 노이즈가 많은 측정값으로부터 확률적 운반-확산-반응(ADR) 시스템의 역문제를 해결하기 위해 다중 정밀도 데이터와 베이지안 최적화를 통합한 물리 기반 신경망(sPINN) 프레임워크를 제안한다. 카르누엔-로브 및 임의 다항식 혼합 확장법을 활용해 확률적 확산계수 및 해를 모델링하며, 메타학습된 초매개변수를 통한 베이지안 최적화로 인해 결정론적 매개변수의 오차가 1% 미만, 확률적 필드의 오차가 0.1% 미만에 도달한다.

ABSTRACT

Physics-informed neural networks (PINNs) were recently proposed in [1] as an alternative way to solve partial differential equations (PDEs). A neural network (NN) represents the solution while a PDE-induced NN is coupled to the solution NN, and all differential operators are treated using automatic differentiation. Here, we first employ the standard PINN and a stochastic version, sPINN, to solve forward and inverse problems governed by a nonlinear advection-diffusion-reaction (ADR) equation, assuming we have some sparse measurements of the concentration field at random or pre-selected locations. Subsequently, we attempt to optimize the hyper-parameters of sPINN by using the Bayesian optimization method (meta-learning), and compare the results with the empirically selected hyper-parameters of sPINN.

연구 동기 및 목표

• 농도 및 확산계수 필드의 제한적이고 희소하며 다중 정밀도 측정값이 존재하는 경우에, 비선형 확률적 ADR 시스템의 역문제를 해결하기 위해.
• 스펙트럼 확장법을 사용해 결정론적 매개변수(유속, 반응 상수)와 확률적 필드(확산계수, 농도)를 동시에 학습하는 복합 신경망 아키텍처를 개발하기 위해.
• sPINN 아키텍처의 다섯 가지 핵심 초매개변수(너비, 깊이, 학습률)를 자동으로 조정하기 위해 베이지안 최적화를 활용해 메타학습 전략을 도입함으로써 일반화 능력과 정확도를 향상시키고 수동 조정을 대체하기 위해.
• 데이터 희소성과 다양한 정밀도 조건 하에서 sPINN 프레임워크의 성능을 결정론적 및 확률적 역문제에 대해 평가하기 위해.
• 복잡한 PDE 기반 역문제에 대해 물리 기반 신경망과 불확실성 정량화 기법을 융합함으로써 타당성과 강건성을 입증하기 위해.

제안 방법

• 비선형 ADR 방정식에 의해 지배되는 정방 및 역문제를 해결하기 위해 자동 미분를 활용한 물리 기반 신경망(PINN)과 그 확장형(sPINN)을 사용한다.
• 고정밀도 및 저정밀도 데이터를 융합하기 위해 복합 다중 정밀도 신경망을 활용하여 데이터 소스 간의 상관관계를 학습함으로써 알 수 없는 매개변수와 필드의 재구성 정확도를 향상시킨다.
• 확률적 확산계수 필드를 표현하기 위해 카르누엔-로브(KL) 전개를 적용하고, 확률적 해를 표현하기 위해 임의 다항식 혼합(aPC)을 사용하여 불확실성의 모드 분해를 가능하게 한다.
• KL 전개의 평균과 각 모드, aPC 전개의 각 모드에 대해 별도의 신경망을 학습시켜 물리적 제약 조건을 유지하면서도 확률적 구성요소를 병렬로 학습할 수 있도록 한다.
• sPINN의 다섯 가지 핵심 초매개변수(너비, 깊이, 학습률)를 자동으로 조정하기 위해 메타학습 전략으로 베이지안 최적화를 구현함으로써 수동 조정 대비 성능 향상을 이룬다.
• 불확실성 정량화의 수렴성과 정확도를 확보하기 위해 훈련에는 2,000개의 샘플, 기준 해를 위한 참조에는 10,000개의 샘플을 사용한 Quasi-Monte Carlo 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 다중 정밀도 데이터와 스펙트럼적 확률적 확장법을 활용한 sPINN는 희소 측정값으로부터 확률적 확산계수 및 농도 필드를 정확하게 재구성할 수 있는가?
• RQ2 베이지안 최적화를 통한 초매개변수 조정이 sPINN의 확률적 역문제에서 정확도 및 수렴성 측면에서 수동 조정보다 어떻게 우월한가?
• RQ3 복합 다중 정밀도 네트워크는 알 수 없는 결정론적 매개변수(유속, 반응 상수)와 확률적 필드의 복원에 얼마나 기여하는가?
• RQ4 심층성, 넓이, 학습률 등의 아키텍처 선택이 고차원 비선형 확률적 PDE에서 sPINN의 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 최소한의 데이터로도 높은 정밀도의 불확실성 정량화를 달성하면서 물리적 일관성을 유지할 수 있는가?

주요 결과

• 베이지안 최적화된 초매개변수를 사용할 경우, sPINN 프레임워크는 세 개의 결정론적 매개변수(운반 속도 및 두 개의 반응 상수)를 복원하는 데 1% 미만의 오차를 기록했다.
• 확률적 농도 및 확산계수 필드의 평균과 분산은 3자리 정밀도 이상의 정확도로 예측되었으며, 오차는 0.1% 이하에 그쳤다.
• 베이지안 최적화는 수동 조정된 설정보다 훨씬 깊고 넓은 최적의 신경망 아키텍처(해 모드의 깊이 10, 너비 113)를 식별하여 정확도 향상에 기여했다.
• 다중 정밀도 데이터의 활용은 고정밀도 데이터가 제한된 경우에도 일반화 능력과 해 및 매개변수 필드의 재구성 품질을 향상시켰다.
• Quasi-Monte Carlo 방법은 표준 몬테카를로보다 수렴 속도가 더 빨라, 검증을 위한 신뢰할 수 있는 기준 해를 10,000개의 샘플로 확보할 수 있었다.
• 본 연구는 메타학습(베이지안 최적화)을 활용해 복합 신경망을 PINN에 적용하여 다물리학, 다중 정밀도, 확률적 PDE 기반 역문제에 대해 성공적으로 적용한 최초의 사례를 입증했다.