[논문 리뷰] Data vs. Physics: The Apparent Pareto Front of Physics-Informed Neural Networks

Franz M. Rohrhofer, Stefan Posch외 2명|arXiv (Cornell University)|2021. 05. 03.

Model Reduction and Neural Networks참고 문헌 8인용 수 15

한 줄 요약

이 논문은 물리 기반 신경망(PINNs)에서 데이터 적합성과 물리적 제약 조건 사이의 다중 목적 최적화 트레이드오프를 조사하며, 시스템 파라미터와 척도에 의해 결정되는 파레토 곡선의 형태가 훈련 수렴성과 정확도에 결정적인 영향을 미친다는 것을 입증한다. 비차원화가 훈련 안정성을 향상시키며, 적응형 손실 가중치가 복잡한 파레토 곡선을 탐색하는 데 있어 적응형 활성화 함수보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Physics-informed neural networks (PINNs) have emerged as a promising deep learning method, capable of solving forward and inverse problems governed by differential equations. Despite their recent advance, it is widely acknowledged that PINNs are difficult to train and often require a careful tuning of loss weights when data and physics loss functions are combined by scalarization of a multi-objective (MO) problem. In this paper, we aim to understand how parameters of the physical system, such as characteristic length and time scales, the computational domain, and coefficients of differential equations affect MO optimization and the optimal choice of loss weights. Through a theoretical examination of where these system parameters appear in PINN training, we find that they effectively and individually scale the loss residuals, causing imbalances in MO optimization with certain choices of system parameters. The immediate effects of this are reflected in the apparent Pareto front, which we define as the set of loss values achievable with gradient-based training and visualize accordingly. We empirically verify that loss weights can be used successfully to compensate for the scaling of system parameters, and enable the selection of an optimal solution on the apparent Pareto front that aligns well with the physically valid solution. We further demonstrate that by altering the system parameterization, the apparent Pareto front can shift and exhibit locally convex parts, resulting in a wider range of loss weights for which gradient-based training becomes successful. This work explains the effects of system parameters on MO optimization in PINNs, and highlights the utility of proposed loss weighting schemes.

연구 동기 및 목표

• 물리 기반 신경망(PINNs)에서 다중 목적 최적화 과정 중 수렴 문제의 근본 원인을 이해한다.
• 시스템 파라미터와 척도가 PINN 훈련에서 파레토 곡선의 형태에 미치는 영향을 조사한다.
• 적응형 활성화 함수와 적응형 손실 가중치의 효과성을 평가하여 PINN의 수렴성을 향상시키는 데 기여한다.
• 물리 시스템의 적절한 비차원화가 수동 하이퍼파rameter 조정 없이도 PINN 훈련을 안정화시킬 수 있는지 확인한다.
• 향후 설계 및 하이퍼파rameter 선택을 안내하기 위해 PINNs의 내재된 최적화 지형에 대한 통찰을 제공한다.

제안 방법

• 데이터 기반 손실과 물리 기반 손실(PDE 잔차)을 균형 잡는 다중 목적 최적화 문제로 PINN 훈련을 공식화한다.
• 시각화 기법을 사용하여 국소 최소값과 파레토 최적 해를 분석하기 위해 손실 지형을 구축한다.
• 시스템 파라미터(예: 길이, 시간, 재료 척도 등)를 체계적으로 변화시켜 파레토 곡선 형태에 미치는 영향을 연구한다.
• 최신의 적응형 활성화 함수 및 적응형 손실 가중치 전략을 적용하여 최적화 궤적에 미치는 영향을 평가한다.
• 다양한 PDE 유형에 대한 일반화 능력을 평가하기 위해 여러 테스트 케이스에서 확산 방정식과 나비에-스톡스 방정식을 사용한다.
• 비차원화가 다양한 시스템 척도에서 파레토 곡선과 훈련 안정성에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 시스템 파라미터와 절대 척도가 PINN 훈련에서 파레토 곡선의 형태에 어떻게 영향을 미치는가?
• RQ2 비차원화가 PINNs의 수렴성과 정확도를 얼마나 향상시키는가?
• RQ3 적응형 활성화 함수는 표준 PINNs에 비해 복잡한 파레토 곡선을 탐색하는 데 얼마나 효과적인가?
• RQ4 적응형 손실 가중치 방법은 PINN 훈련에서 수동 하이퍼파rameter 조정의 필요성을 줄일 수 있는가?
• RQ5 파레토 곡선의 내재 기하학적 구조가 PINNs에서 다중 목적 최적화 성공에 미치는 역할은 무엇인가?

주요 결과

• PINN 훈련에서 파레토 곡선의 형태는 시스템 파라미터, 특히 계산 영역의 절대 척도에 의해 강하게 영향을 받는다.
• 비차원화는 일반적으로 볼록한 형태의 더 유리한 파레토 곡선을 만들어내며, 이는 훈련 수렴성 향상과 수동 손실 가중치 조정의 감소를 초래한다.
• 적응형 손실 가중치 방법은 다양한 시스템 척도에서 데이터 손실과 물리 손실을 효과적으로 균형 잡으며, 기준 PINNs에 비해 일관된 개선을 보인다.
• 적응형 활성화 함수는 중간 정도의 성능 향상을 제공할 뿐이며, 전반적인 최적화 지형에 미치는 영향이 제한적이기 때문에 적응형 손실 가중치보다 효과가 떨어진다.
• PINNs의 다중 목적 최적화 과정은 본질적으로 파레토 곡선의 내재 기하학적 구조에 의해 제약을 받으며, 적절한 시스템 척도 없이 고정밀도를 달성하는 것은 어렵다.
• 적응형 활성화나 손실 가중치와 같은 고급 기법을 사용하더라도, 수렴성은 여전히 파레토 곡선의 기초 구조에 매우 민감하며, 문제 설정의 중요성을 강조한다.