[논문 리뷰] On the Role of Fixed Points of Dynamical Systems in Training Physics-Informed Neural Networks

Franz M. Rohrhofer, Stefan Posch외 2명|arXiv (Cornell University)|2022. 03. 25.

Model Reduction and Neural Networks인용 수 15

한 줄 요약

이 논문은 물리적 통찰을 가진 신경망(PINNs)에서 학습의 불안정성을 유발하는 주요 원인으로 역동 시스템의 고정점(fixed points)을 규명한다. 고정점은 물리 손실 경관에서 유인적인 국소 최소값을 생성하여 최적화를 오도한다. 저자들은 계산 도메인을 줄임으로써 손실 경관이 더 매끄럽게 되고 학습 성공률이 향상됨을 보여주며, 고정점이 PINN 최적화 복잡성의 근본적 원인임을 시사한다.

ABSTRACT

This paper empirically studies commonly observed training difficulties of Physics-Informed Neural Networks (PINNs) on dynamical systems. Our results indicate that fixed points which are inherent to these systems play a key role in the optimization of the in PINNs embedded physics loss function. We observe that the loss landscape exhibits local optima that are shaped by the presence of fixed points. We find that these local optima contribute to the complexity of the physics loss optimization which can explain common training difficulties and resulting nonphysical predictions. Under certain settings, e.g., initial conditions close to fixed points or long simulations times, we show that those optima can even become better than that of the desired solution.

연구 동기 및 목표

• 역동 시스템에서 학습할 때 물리적 통찰을 가진 신경망(PINNs)이 자주 올바른 해에 수렴하지 못하는 이유를 조사하는 것.
• 역동 시스템 고유의 평형 상태인 고정점이 PINNs의 손실 경관을 어떻게 형성하는지 조사하는 것.
• 계산 도메인 크기와 고정점 근처의 초기 조건이 최적화 성공률과 손실 경관 복잡성에 미치는 영향을 규명하는 것.
• 고정점이 참값보다 더 좋은 최적화 결과가 될 수 있는지, 이로 인해 비물리적 예측이 발생하는지 평가하는 것.
• 이러한 발견이 손실 가중치 부여 및 샘플링 점 재표본화와 같은 기존 PINN 학습 기법에 미치는 영향을 탐색하는 것.

제안 방법

• 고정점이 알려진 역동 시스템에 대해 PINNs의 물리적 손실 경관을 수치 시뮬레이션과 손실 표면의 시각화를 통해 실험적으로 분석한다.
• 손실 경관의 복잡성과 구조에 미치는 영향을 분석하기 위해 시뮬레이션 시간 T를 다양하게 조정한다.
• 해석적으로 알려진 고정점(예: 안정 및 불안정 평형)을 가진 단순 모델을 사용하여 고정점의 영향을 다른 학습 문제와 분리한다.
• 특히 고정점 근처의 초기 조건에서의 학습 결과를 비교하여 비물리적 해로 수렴하는지 관찰한다.
• 도메인 축소와 샘플링 전략의 영향을 분석하여 고정점에 기인한 최소값의 두드러짐을 평가한다.
• 초기 조건과 경계 제약 조건이 손실 경관에서 고정점 해로 수렴하는 것을 방지하는 데 어떻게 기여하는지 분석한다.

실험 결과

연구 질문

• RQ1 역동 시스템의 고정점이 PINNs의 물리적 손실 함수에 국소 최소값을 유도하는가?
• RQ2 고정점에 기인한 최소값이 참값보다 손실 값에서 더 우수한가? 이는 비물리적 예측을 유도하는가?
• RQ3 계산 도메인을 줄이는 것(즉, 시뮬레이션 시간 T를 줄이는 것)은 손실 경관에서 고정점 관련 최소값의 두드러짐에 어떤 영향을 미치는가?
• RQ4 장시간 시뮬레이션에서 학습하는 PINNs가 올바른 해로 수렴하지 못하는 이유는 무엇인가? 초기 및 경계 조건이 올바르게 설정되어 있음에도 불구하고.
• RQ5 기존 PINN 학습 기법(예: 손실 가중치 부여 또는 샘플링 점 재가중치 부여)이 고정점 유인 문제를 어느 정도 완화하는가?

주요 결과

• 역동 시스템의 고정점은 PINNs의 물리적 손실 경관에 국소 최소값을 생성하며, 이는 최적화를 오도하고 비물리적 예측을 유도할 수 있다.
• 불안정한 고정점 근처의 초기 조건일 경우, 참값이 미분 방정식을 만족하더라도 손실 경관에서 참값보다 더 유인적인 최소값이 나타난다.
• 시뮬레이션 시간 T를 줄임으로써 고정점에 기인한 최소값이 덜 두드러지거나 사라지는 더 매끄러운 손실 경관이 나타나며, 이는 학습 성공률 향상과 연결된다.
• 고정점의 존재는 초기 및 경계 조건을 올바르게 설정했음에도 불구하고 일부 PINN 학습 실패가 지속되는 이유를 설명한다. 고정점은 여전히 손실 경관을 지배할 수 있다.
• 샘플링 점 재가중치 부여 및 재표본화 방법은 효과적으로 도메인 크기를 줄여 고정점에 기인한 최소값의 영향을 감소시키며, 이는 관측된 학습 성과 향상과 일치한다.
• 손실 가중치 부여 기법은 초기/경계 조건 위반에 대한 벌점을 높여 고정점 유인 문제를 완화할 수 있다. 이는 고정점이 PINNs의 기울기 불균형을 유발하는 데 기여함을 시사한다.