[논문 리뷰] AdjointNet: Constraining machine learning models with physics-based codes

Satish Karra, Bulbul Ahmmed외 1명|arXiv (Cornell University)|2021. 09. 08.

Model Reduction and Neural Networks참고 문헌 47인용 수 10

한 줄 요약

AdjointNet은 기존의 물리기반 시뮬레이션 코드(예: PFLOTRAN 및 나비에-스토크스 해석기)를 신경망 학습에 직접 통합하여 도메인 전역에서 보존 법칙(예: 질량, 운동량)을 강제로 이행하는 물리학 제약 기반 기계학습 프레임워크이다. 물리 코드로부터 유도된 애드조인트 민감도를 활용함으로써, 제한적이고 흐린 또는 노이즈가 있는 데이터로도 정확한 역모델링을 가능하게 하며, PDE의 재디스크리티제이션 없이도 높은 정확도의 매개변수 추정을 달성한다.

ABSTRACT

Physics-informed Machine Learning has recently become attractive for learning physical parameters and features from simulation and observation data. However, most existing methods do not ensure that the physics, such as balance laws (e.g., mass, momentum, energy conservation), are constrained. Some recent works (e.g., physics-informed neural networks) softly enforce physics constraints by including partial differential equation (PDE)-based loss functions but need re-discretization of the PDEs using auto-differentiation. Training these neural nets on observational data showed that one could solve forward and inverse problems in one shot. They evaluate the state variables and the parameters in a PDE. This re-discretization of PDEs is not necessarily an attractive option for domain scientists that work with physics-based codes that have been developed for decades with sophisticated discretization techniques to solve complex process models and advanced equations of state. This paper proposes a physics constrained machine learning framework, AdjointNet, allowing domain scientists to embed their physics code in neural network training workflows. This embedding ensures that physics is constrained everywhere in the domain. Additionally, the mathematical properties such as consistency, stability, and convergence vital to the numerical solution of a PDE are still satisfied. We show that the proposed AdjointNet framework can be used for parameter estimation (and uncertainty quantification by extension) and experimental design using active learning. The applicability of our framework is demonstrated for four flow cases. Results show that AdjointNet-based inversion can estimate process model parameters with reasonable accuracy. These examples demonstrate the applicability of using existing software with no changes in source code to perform accurate and reliable inversion of model parameters.

연구 동기 및 목표

• 기존의 물리학 기반 기계학습 방법이 자동 미분 및 재디스크리티제이션을 통해 PDE 제약 조건을 부드럽게 이행하는 데서 비롯하는 한계를 해결하기 위해.
• 숙련된, 검증된 물리기반 시뮬레이터(예: PFLOTRAN, 나비에-스토크스 해석기)를 수정 없이도 신경망 학습 워크플로우의 핵심으로 사용할 수 있도록 하기 위해.
• 도메인 전역에서 질량, 운동량, 에너지 보존과 같은 물리적 제약 조건이 엄격히 이행되도록 하여 수치적 안정성과 수렴성을 유지하기 위해.
• 실시간 관측 데이터를 학습 루프에 직접 통합함으로써 역문제, 불확실성 정량화 및 주도적 학습을 지원하기 위해.
• 다양한 물리적 시스템, 특히 다공성 매체 유동 및 비압축성 나비에-스토크스 유동에 대한 적용 가능성을 입증하기 위해.

제안 방법

• AdjointNet은 물리기반 시뮬레이터(예: PFLOTRAN, 나비에-스토크스 해석기)를 신경망 내의 미분 가능한 레이어로 통합하여, 상태 변수에 대한 기울기를 시뮬레이터를 통해 역전파할 수 있도록 한다.
• 애드조인트 방법을 사용해 상태 변수(예: 압력, 속도)에 대한 모델 매개변수(예: 투과도, 점성도)에 대한 애드조인트 민감도를 계산함으로써 정확한 기울기 계산을 보장한다.
• 손실 함수는 데이터 불일치 항과 물리 잔차 항을 조합하며, 기울기는 애드조인트 민감도를 통해 계산되어 원래 코드의 수치적 성질을 유지하면서 종단 간 학습을 가능하게 한다.
• 이 프레임워크는 정방향 문제와 역문제 모두를 지원하며, 주도적 학습을 통한 실험 설계 및 매개변수 추정을 포함한다.
• 물리 코드에서 기존에 검증된 수치적 디스크리티제이션을 재사용함으로써 PDE의 재구현을 피함으로써 일致성, 안정성, 수렴성을 보장한다.
• 어떤 물리 코드이든 상태 변수와 그 애드조인트 민감도를 계산할 수 있다면 이 방법은 과학 분야 전반에 걸쳐 넓은 적용 가능성을 지닌다.

실험 결과

연구 질문

• RQ1 기존의 물리기반 시뮬레이션 코드를 수정 없이 기계학습 학습에 직접 통합할 수 있으며, 그 수치적 성질을 유지할 수 있는가?
• RQ2 기존의 물리 코드에서 유도된 애드조인트 민감도를 사용해 신경망을 학습시키면서 보존 법칙을 엄격히 이행할 수 있는가?
• RQ3 AdjointNet은 제한적이고 흐린 또는 노이즈가 있는 관측 데이터로도 정확한 매개변수 역모델링을 달성할 수 있는가?
• RQ4 다공성 매질의 비균질성과 나비에-스토크스 방정식에 의해 지배되는 비압축성 유동을 포함한 역문제에서 AdjointNet의 성능은 어떠한가?
• RQ5 재학습이 필요 없이도 실시간 데이터 융합 및 주도적 학습을 지원할 수 있는가?

주요 결과

• AdjointNet은 기준값 0.1000을 가진 리드드라이브 캐비티 유동에서 운동점성도를 0.1021로 정확하게 추정하여 높은 정확도의 매개변수 역모델링을 입증했다.
• 약 200 에포크 내에 수렴하였고, 최종 손실 값은 10^-8 이하로 안정적이고 효율적인 학습을 보였다.
• 균질적인 다공성 매질의 경우, 1,681개의 압력 데이터 포인트만으로도 투과도를 정확하게 추정하여 희소 데이터에서의 강건성을 입증했다.
• 비균질적인 다공성 매질의 경우, 공간적으로 변화하는 투과도 필드를 성공적으로 역모델링하였으며, 도메인 전역에서 물리적 일致성을 유지했다.
• 실시간 관측 데이터를 학습 과정에 직접 통합함으로써 데이터 융합을 가능하게 하여 새로운 시뮬레이션 데이터로 재학습할 필요가 없었다.
• 기본 물리 코드의 디스크리티제이션 성질을 그대로 이관함으로써 수치적 안정성과 수렴성을 유지했으며, 재디스크리티제이션을 필요로 하는 PINNs와는 달리 이점을 지녔다.