[논문 리뷰] Meta Learning of Interface Conditions for Multi-Domain Physics-Informed Neural Networks

Shibo Li, Michael Penwarden외 5명|arXiv (Cornell University)|2022. 10. 23.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 다중 도메인 물리 기반 신경망(PINNs)의 최적 인터페이스 조건을 동적으로 선택하기 위해 가우시안 프로세스 보상과 함께 문맥적 다중 손잡이 도박기(MAB)를 사용하는 메타러닝 프레임워크인 METALIC을 제안한다. 이는 하위선형의 손실 성장률을 달성하며, 무작위 조건 선택 대비 해석 오차를 최대 88.5% 감소시킨다. 다양한 PDE 가족에서 표준 PINNs와 히우리스틱 인터페이스 선택 방식을 모두 능가한다.

ABSTRACT

Physics-informed neural networks (PINNs) are emerging as popular mesh-free solvers for partial differential equations (PDEs). Recent extensions decompose the domain, apply different PINNs to solve the problem in each subdomain, and stitch the subdomains at the interface. Thereby, they can further alleviate the problem complexity, reduce the computational cost, and allow parallelization. However, the performance of multi-domain PINNs is sensitive to the choice of the interface conditions. While quite a few conditions have been proposed, there is no suggestion about how to select the conditions according to specific problems. To address this gap, we propose META Learning of Interface Conditions (METALIC), a simple, efficient yet powerful approach to dynamically determine appropriate interface conditions for solving a family of parametric PDEs. Specifically, we develop two contextual multi-arm bandit (MAB) models. The first one applies to the entire training course, and online updates a Gaussian process (GP) reward that given the PDE parameters and interface conditions predicts the performance. We prove a sub-linear regret bound for both UCB and Thompson sampling, which in theory guarantees the effectiveness of our MAB. The second one partitions the training into two stages, one is the stochastic phase and the other deterministic phase; we update a GP reward for each phase to enable different condition selections at the two stages to further bolster the flexibility and performance. We have shown the advantage of METALIC on four bench-mark PDE families.

연구 동기 및 목표

• 다중 도메인 PINNs의 인터페이스 조건 선택에 체계적인 지침이 부족하여 해석 정확도와 학습 안정성에 심각한 영향을 미치는 문제를 해결하기 위해.
• PDE 파라미터와 문제 특성에 기반해 최적의 인터페이스 조건을 동적으로 적응적으로 선택하는 방법을 개발하기 위해.
• 광범위한 하이퍼파rameter 튜닝이나 궤적 수집 없이도 온라인에서 효율적이고 이론적으로 보장된 조건 선택을 가능하게 하기 위해.
• 이전 학습 경험에서 학습함으로써 다양한 PDE 가족에서 다중 도메인 PINN의 성능을 향상시키기 위해.
• METALIC가 무작위 조건 선택 방식과 표준 단일 도메인 PINNs를 초월하여, 더 적은 뉴런을 사용함에도 불구하고 뛰어난 성능을 발휘함을 입증하기 위해.

제안 방법

• PDE 파라미터를 문맥으로, 인터페이스 조건을 암수로, 해석 정확도를 보상으로 삼는, 문맥적 다중 손잡이 도박기(MAB) 문제로 인터페이스 조건 선택을 수식화한다.
• 보상 함수를 모델링하기 위해 가우시안 프로세스(GP)를 사용하며, Upper Confidence Bound(UCB) 또는 톰슨 샘플링(TS)을 통해 온라인으로 업데이트한다.
• 스토케스틱(ADAM) 및 디터미니스틱(LBFGS) 학습 단계를 별도로 최적화하는 이중 단계 MAB 모델을 도입한다.
• 연속적이고 범주형인 커널을 조합하여 문맥-암수 공간을 모델링함으로써, PDE 파라미터와 조건 집합 간의 효과적인 일반화를 가능하게 한다.
• 학습 중 지속적으로 조건 선택을 정교화하기 위해 온라인 학습을 적용함으로써, 재학습 없이도 새로운 PDE 인스턴스에 적응할 수 있도록 한다.
• 제안된 커널 하에서 UCB와 TS에 대해 하위선형의 손실 경계를 증명함으로써, 시간이 지남에 따라 최적의 조건 선택으로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 메타러닝 접근법을 통해 다중 도메인 PINNs의 다양한 매개변수 PDE 가족에 대해 최적의 인터페이스 조건을 동적으로 효율적으로 선택할 수 있는가?
• RQ2 가우시안 프로세스 보상 모델링을 갖춘 문맥적 MAB가 무작위 또는 고정된 조건 선택보다 더 높은 해석 정확도를 달성하는가?
• RQ3 학습 과정을 스토케스틱 및 디터미니스틱 단계로 분리하면 조건 선택의 유연성과 성능 향상에 기여하는가?
• RQ4 METALIC는 표준 PINNs와 히우리스틱 인터페이스 선택 방식에 비해 해석 오차를 얼마나 감소시키는가?
• RQ5 선택된 인터페이스 조건에서 나타나는 패턴은 물리적 직관과 일치하는가, 아니면 비직관적인 학습 이점이 드러나는가?

주요 결과

• METALIC는 누적 해석 오차가 하위선형으로 증가하여, 무작위 조건 선택에서 관찰된 선형 증가보다 훨씬 느리게 증가함을 확인하였다.
• METALIC가 선택한 조건을 사용할 경우, 다중 도메인 PINNs는 무작위 인터페이스 조건 선택 대비 해석 오차를 최대 88.5% 감소시켰다.
• METALIC는 더 적은 뉴런을 사용함에도 불구하고 표준 단일 도메인 PINNs를 능가하는 성능을 보였으며, 이는 더 뛰어난 샘플 및 파라미터 효율성을 의미한다.
• 이동 방정정식의 경우, METALIC는 해의 연속성 항($I_{u_{avg}}$)만 선택하여 최소한의 인터페이스 항으로 최고의 정확도를 달성하였다.
• 반응 문제의 경우, METALIC는 물리적으로 비합리한 항(예: 시간 도함수)을 선택하여 학습 성능을 향상시켰으며, 이는 물리적 직관을 초월한 머신러닝 전용 이점이 있음을 시사한다.
• 버거 방정식의 경우, METALIC는 주로 유량 연속성을 선택하여 물리적 기대와 일치하며, 모든 시험 케이스 중에서 가장 큰 오차 감소를 기록하였다.