[논문 리뷰] Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs)

Shamsulhaq Basir|arXiv (Cornell University)|2022. 09. 20.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 고차 도함수를 보조 변수를 통해 전처리하고, 적응형 라그랑주 승수를 사용한 이중 비제약 형식을 도입함으로써 PDE를 푸는 데서 발생하는 실패 모드를 완화하는 물리 기반 신경망(PINN) 프레임워크를 제안한다. 이 방법은 상태기반 PINN보다 수개의 주기 개선된 정확도를 달성하며, 훨씬 적은 수의 콜로케이션 포인트를 사용하여 비연속 해와 복잡한 기하학적 구조를 안정적으로 학습할 수 있으며, 수동적인 하이퍼파rameter 조정이 필요하지 않다.

ABSTRACT

This paper explores the difficulties in solving partial differential equations (PDEs) using physics-informed neural networks (PINNs). PINNs use physics as a regularization term in the objective function. However, a drawback of this approach is the requirement for manual hyperparameter tuning, making it impractical in the absence of validation data or prior knowledge of the solution. Our investigations of the loss landscapes and backpropagated gradients in the presence of physics reveal that existing methods produce non-convex loss landscapes that are hard to navigate. Our findings demonstrate that high-order PDEs contaminate backpropagated gradients and hinder convergence. To address these challenges, we introduce a novel method that bypasses the calculation of high-order derivative operators and mitigates the contamination of backpropagated gradients. Consequently, we reduce the dimension of the search space and make learning PDEs with non-smooth solutions feasible. Our method also provides a mechanism to focus on complex regions of the domain. Besides, we present a dual unconstrained formulation based on Lagrange multiplier method to enforce equality constraints on the model's prediction, with adaptive and independent learning rates inspired by adaptive subgradient methods. We apply our approach to solve various linear and non-linear PDEs.

연구 동기 및 목표

• 편차 데이터나 사전 해 지식이 없는 상황에서 물리 기반 신경망(PINN)이 편미분방정식(PDE)을 풀 때 발생하는 실패 모드를 조사하고 진단하는 것.
• 고차 PDE에서 후행 전파된 기울기가 어떻게 오염되고, 이로 인해 학습 중 수렴이 저해되는지 분석하는 것.
• 메쉬가 필요 없고 기하학적 불변성을 가지며, 수동적인 하이퍼파rameter 조정 없이 경계 조건과 보존 법칙을 엄격히 이행하는 방법을 개발하는 것.
• 보조 변수 전처리를 통해 검색 공간의 차원을 감소시켜 비연속 해를 효과적으로 학습할 수 있도록 하는 것.
• 라그랑주 승수 방법에 기반한 적응형 이중 비제약 형식을 도입하여 독립적인 학습률을 갖는 방법을 개발하는 것.

제안 방법

• 고차 도함수 계산을 보조 변수로 대체하는 전처리 전략을 도입하여 기울기 오염을 감소시키고 최적화 안정성을 향상시킨다.
• 라그랑주 승수 방법에서 유도된 이중 비제약 형식을 활용하여 제약 최적화 문제를 적응형 학습률을 갖는 비제약 문제로 변환한다.
• Sobol 수열 샘플링을 사용하여 도메인 내부와 경계에서 흩어진, 균일한 콜로케이션 포인트를 생성함으로써 데이터 요구량을 최소화한다.
• 고차원, 비凸인 손실 곡면에서 수렴을 향상시키기 위해 L-BFGS 최적화기와 강력한 Wolfe 선 탐색을 적용한다.
• 노이즈가 있는 측정 데이터를 엄격한 경계 조건과 물리 법칙을 이행하면서도 원활하게 통합할 수 있는 최대우도추정 프레임워크를 구현한다.
• 주요 변수와 보조 변수를 모두 한 개의 신경망에서 학습시켜 공유된 은닉 표현을 촉진하고 과적합 위험을 감소시킨다.

실험 결과

연구 질문

• RQ1 고차 PDE에서 기울기 흐름과 손실 곡면은 어떻게 영향을 미치며, 초기 학습 단계에서 수렴 실패의 원인은 무엇인가?
• RQ2 고차 도함수에서 기인하는 기울기 오염은 PINN 해의 일반화 능력과 정확도에 얼마나 심각한 영향을 미치는가?
• RQ3 적응형 학습률을 갖는 이중 비제약 형식은 수동적인 하이퍼파rameter 조정 없이도 PINN의 수렴성과 정확도를 향상시킬 수 있는가?
• RQ4 보조 변수 전처리 전략은 검색 공간의 차원을 얼마나 감소시키며, 비연속 PDE 해의 학습에 얼마나 효과적인가?
• RQ5 제안된 방법은 기존 PINN 접근 방식보다 훨씬 적은 수의 콜로케이션 포인트로 최첨단 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 헬름홀츠 방정식에서 상대 오차 $2.77 \times 10^{-4} \pm 9.15 \times 10^{-5}$ 를 달성하여 Ref. [22]보다 오차 수준에서 두 개의 주기 개선된 성능를 보였다.
• 이 방법은 Ref. [22]에서 사용된 콜로케이션 포인트 수의 0.01%로 줄였음에도 불구하고 뛰어난 정확도를 유지하였다.
• 고차 PDE에서 후행 전파된 기울기는 초기 예측의 노이즈로 인해 수개의 주기 정도로 증폭되며, 제안된 방법이 이를 효과적으로 완화한다.
• 노이즈가 없는 조건에서 네트워크 파rameter의 분포는 안정성을 유지하지만, 표준 PINN에서는 기울기가 크게 증가함—최적화의 불안정성을 시사한다.
• 적응형 이중 형식을 갖는 PECANN 모델은 희소 샘플링과 비연속 해가 존재하는 상황에서도 여러 시험에서 일관된 수렴과 높은 정확도를 보였다.
• 이 방법은 수동 조정 없이도 경계 조건과 보존 법칙을 엄격히 이행할 수 있어, 역문제 및 정방 PDE 문제에 적합하다.