[논문 리뷰] BiLO: Bilevel Local Operator Learning for PDE Inverse Problems

Zirui Zhang, Miles, Christopher E.외 2명|arXiv (Cornell University)|2024. 04. 27.

Numerical methods in inverse problems인용 수 4

한 줄 요약

BiLO는 PDE 역문제를 위한 이중 최적화 프레임워크를 제안한다. 상위 수준은 PDE 파라미터에 대해 데이터 손실을 최소화하고, 하위 수준은 잔차-기울기 손실을 사용하여 국소적으로 해의 연산자를 근사하는 신경망을 훈련시킨다. 이는 강력한 PDE 제약 강제, 희소하고 노이즈가 많은 데이터에 대한 강건성, PINNs와 같은 소프트 제약 방법에서 발생하는 손실 균형 조정의 상호 갈등을 제거한다.

ABSTRACT

We propose a new neural network based method for solving inverse problems for partial differential equations (PDEs) by formulating the PDE inverse problem as a bilevel optimization problem. At the upper level, we minimize the data loss with respect to the PDE parameters. At the lower level, we train a neural network to locally approximate the PDE solution operator in the neighborhood of a given set of PDE parameters, which enables an accurate approximation of the descent direction for the upper level optimization problem. The lower level loss function includes the L2 norms of both the residual and its derivative with respect to the PDE parameters. We apply gradient descent simultaneously on both the upper and lower level optimization problems, leading to an effective and fast algorithm. The method, which we refer to as BiLO (Bilevel Local Operator learning), is also able to efficiently infer unknown functions in the PDEs through the introduction of an auxiliary variable. We provide a theoretical analysis that justifies our approach. Through extensive experiments over multiple PDE systems, we demonstrate that our method enforces strong PDE constraints, is robust to sparse and noisy data, and eliminates the need to balance the residual and the data loss, which is inherent to the soft PDE constraints in many existing methods.

연구 동기 및 목표

• 희소하거나 노이즈가 많은 데이터에서 데이터 충실도와 PDE 제약 강제 간의 균형을 맞추는 데 도전하는 것.
• PINNs와 같은 소프트 PDE 제약의 한계를 극복하기 위해 데이터 손실과 잔차 손실을 균형 조절하기 위해 신중한 초모수 튜닝이 필요한 문제를 해결하는 것.
• 대규모 시뮬레이션 데이터셋을 사전 훈련 없이도 하위 연산자 학습을 통해 하드 PDE 제약을 강제하는 방법을 개발하는 것.
• 동시 기울기 하강법을 사용한 이중 최적화 프레임워크를 통해 미지의 PDE 파라미터와 함수를 효율적으로 추론하는 것.
• 보조 변수를 도입하여 신경망으로 매개변수화된 미지의 함수를 추론하는 방법을 확장함으로써 고차원 국소 연산자 학습을 피하는 것.

제안 방법

• PDE 역문제를 이중 최적화로 공식화: 상위 수준은 PDE 파라미터에 대해 데이터 손실을 최소화하고, 하위 수준은 현재 파라미터 주변의 국소적 해의 연산자를 근사하는 신경망을 훈련시킨다.
• 하위 수준에 '잔차-기울기' 손실을 도입하여, PDE 잔차가 PDE 파라미터에 대해 미분한 L2 노름을 정의함으로써 해의 연산자에 대한 국소적 충실도를 보장한다.
• 양쪽 수준에서 동시에 기울기 하강법을 사용하여 반복적인 내부 루프 솔버 없이도 효율적이고 안정적인 최적화를 가능하게 한다.
• 단순한 신경망 아키텍처를 사용하여 국소 해의 연산자를 표현하고, 현재 파라미터 주변의 국소 영역에서만 훈련함으로써 전역 연산자 학습을 피한다.
• PDE 내에 존재하는 미지의 함수(예: 변동하는 확산 계수)를 추론하기 위해 보조 변수를 도입하여 고차원 국소 연산자 학습이 필요 없도록 한다.
• 자동 미분을 통합하여 PDE 잔차와 그 기울기를 계산함으로써 PDE와 데이터 손실을 전방향으로 백프로파게이션할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 국소 연산자 학습을 통한 이중 최적화 프레임워크는 PINNs와 같은 소프트 제약 방법에 비해 PDE 제약 강제를 향상시킬 수 있는가?
• RQ2 하위 수준에서의 잔차-기울기 손실은 주어진 PDE 파라미터 주변에서 해의 연산자를 정확하게 국소적으로 근사하는 데 효과적인가?
• RQ3 제안된 방법은 손실 균형 조정이 필요 없이도 희소하고 노이즈가 많은 데이터에서 강건한 파라미터 추론을 달성할 수 있는가?
• RQ4 PDE 내의 미지의 함수(예: 변동하는 계수)를 추론하는 데 있어 기존 PINNs에 비해 성능이 향상되는가?
• RQ5 양쪽 수준에서 동시에 기울기 하강법을 적용할 경우, 전통적인 중첩 최적화에 비해 더 빠르고 안정적인 수렴을 이룰 수 있는가?

주요 결과

• BiLO는 PINNs보다 유의미하게 낮은 파라미터 오차를 기록했다: 노이즈가 있는 Fisher-KPP 문제에서 BiLO의 파라미터 오차는 4.41e-3(표준편차 1.44e-3)였고, PINN(1e1)의 경우 4.93e-3(표준편차 2.10e-3)였으며, 해 오차와 데이터 손실 모두에서 우수한 성능을 보였다.
• 변동하는 확산 계수를 가진 푸아송 방정식에서 BiLO는 D(x) 추정에 대해 L∞ 오차 5.97e-2(표준편차 2.20e-2)를 기록했고, PINN(1e1)의 8.73e-2(표준편차 7.68e-3)보다 우수했으며, 진짜 값의 꺾임을 더 잘 포착했다.
• BiLO는 데이터 손실 1.06e-4(표준편차 1.43e-5)를 유지했고, 이는 노이즈 분산(1e-4)과 매우 유사하여 과적합 또는 과소적합이 발생하지 않았음을 시사한다. 반면 PINNs는 이러한 문제를 피하기 위해 w_dat를 신중하게 튜닝이 필요했다.
• 잔차-기울기 손실은 정확한 국소 해 근사를 가능하게 했다: 시각화 결과 신경망이 변형된 확산 계수에 대해 유한차분법(FDM) 해와 매우 유사한 결과를 보였다.
• BiLO는 국소 연산자 학습을 통해 하드 PDE 제약을 강제함으로써 PINNs에서 발생하는 데이터 손실과 잔차 손실 간의 균형 조정이 필요 없는 문제를 해결했다.
• 이 방법은 노이즈에 대한 강건성과 향상된 수렴 성능을 보였으며, BiLO에서 추정한 확산 계수의 경우 PINNs가 진동하거나 너무 매끄럽게 나오는 것에 비해 불연속성을 더 정확히 포착했다.