[논문 리뷰] MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks

Jiachen Yao, Chang Su외 4명|arXiv (Cornell University)|2023. 06. 05.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 물리기반신경망(PINNs)을 위한 개별 파라미터 기반, 척도 불변 최적화 방법인 MultiAdam을 제안한다. 이는 손실 불균형 문제를 다중 척도 PDE 학습에서 개별 손실 항목의 기울기 운동량을 활용하여 해결한다. 다양한 PDE에서 강력한 기준 모델 대비 예측 정확도를 1~2개 정도의 주기로 향상시키며, 수렴성과 도메인 척도에 대한 강건성도 뛰어나다.

ABSTRACT

Physics-informed Neural Networks (PINNs) have recently achieved remarkable progress in solving Partial Differential Equations (PDEs) in various fields by minimizing a weighted sum of PDE loss and boundary loss. However, there are several critical challenges in the training of PINNs, including the lack of theoretical frameworks and the imbalance between PDE loss and boundary loss. In this paper, we present an analysis of second-order non-homogeneous PDEs, which are classified into three categories and applicable to various common problems. We also characterize the connections between the training loss and actual error, guaranteeing convergence under mild conditions. The theoretical analysis inspires us to further propose MultiAdam, a scale-invariant optimizer that leverages gradient momentum to parameter-wisely balance the loss terms. Extensive experiment results on multiple problems from different physical domains demonstrate that our MultiAdam solver can improve the predictive accuracy by 1-2 orders of magnitude compared with strong baselines.

연구 동기 및 목표

• 도메인 척도가 적용된 상황에서 PINN 학습에서 PDE 항과 경계 항 간의 손실 불균형 문제를 해결하는 데 초점을 맞춘다.
• 손실 함수를 실제 해 오차($L^\infty$ 오차 한계를 통해)와 연결하는 이론적으로 탄탄한 최적화 프레임워크를 개발한다.
• 전역 척도에 독립적인 개별 파라미터 수준에서 손실 항을 동적으로 균형 조절할 수 있는 강건하고 적응형 최적화 방법을 설계한다.
• 기울기 운동량 기반 재가중을 통해 온건한 조건 하에서도 진짜 해로 수렴하도록 보장한다.
• 헤르츠 방정식과 버거스 방정식을 포함한 다양한 물리적 PDE에서 도메인 척도가 변할 경우에도 뛰어난 성능과 안정성을 입증한다.

제안 방법

• PDE와 경계 손실이 $L^\infty$ 해 오차와 연결되는 이론적 오차 한계를 도출하여, 손실을 최소화할 경우 수렴성을 보장한다.
• PDE와 경계 손실 구성 요소에 대해 별도의 2차 기울기 운동량을 유지하는 새로운 최적화 방법인 MultiAdam을 제안한다.
• 개별 운동량 추정치를 활용해 기울기를 적응적으로 스케일링하여 절대 손실 크기와 무관한 개별 파라미터 수준의 균형을 달성한다.
• 운동량 기반 스케일링을 적용해 네트워크 가중치를 갱신함으로써, 손실 항이 수십 수백 배로 다를 경우에도 안정적이고 빠른 수렴을 보장한다.
• 가중치가 운동량 비율에 따라 동적으로 조정되는 가중치 합 손실으로 최적화 목표를 설정하여 척도 불변성을 유지한다.
• 2D 포isson, 헬름홀츠, 버거스 방정식을 포함한 다양한 기준 PDE에서 도메인 척도가 변하는 경우에 대해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 도메인 척도가 PINN 학습에서 PDE와 경계 손실의 상대적 크기에 어떤 영향을 미치는가?
• RQ2 PINN에서 손실 함수와 실제 $L^\infty$ 해 오차를 연결하는 이론적 오차 한계를 유도할 수 있는가?
• RQ3 다중 척도 PINN 학습에서 기울기 운동량을 개별 파라미터 수준의 적응형 손실 균형 조절에 신뢰할 수 있는 지표로 사용할 수 있는가?
• RQ4 MultiAdam과 같은 척도 불변 최적화 방법이 재가중 및 기울기 기반 기존 방법보다 정확도와 수렴 속도 측면에서 뛰어나게 성능을 냈는가?
• RQ5 기본 최적화 방법인 Adam과 LRA에 비해 MultiAdam은 도메인 재척도에 대해 얼마나 강건한가?

주요 결과

• 헬름홀츠 방정식에서 도메인 척도가 적용된 경우, MultiAdam은 Adam 및 기타 기준 모델 대비 상대적 $L^2$ 오차를 최대 두 개 주기로 감소시켰다.
• 도메인 크기가 작은 헬름홀츠-0.2 케이스에서는 MultiAdam이 상대적 $L^2$ 오차 0.87%를 기록하여, Adam(93.46%)과 NTK(100%)를 압도적으로 뛰어넘었다.
• 버거스 방정식 실험에서는 MultiAdam이 상대적 $L^2$ 오차 2.95%를 기록하여, Adam(5.87%)과 PCGrad(15.96%)를 모두 앞섰으며, 더 뛰어난 학습 안정성을 보였다.
• 기울기 운동량 추정 초기화 이후 MultiAdam은 수렴 속도가 더 빠르며, $L^2$ 손실 곡선을 통해 Adam과 PCGrad를 모두 뛰어넘는 빠름과 안정성을 보였다.
• 다양한 도메인 척도에서 높은 성능을 유지하여 재척도에 대한 강건성을 입증했으며, 경쟁자들과는 달리 성능 저하가 심각하게 발생하지 않았다.
• 이론적 분석을 통해 가중 손실을 최소화할 경우 $L^\infty$ 오차가 유계임을 확인하여 최적화 목표의 체계적인 근거를 제공했다.