[논문 리뷰] Learning in Sinusoidal Spaces with Physics-Informed Neural Networks

Jian Cheng Wong, Chinchun Ooi외 2명|arXiv (Cornell University)|2021. 09. 20.

Model Reduction and Neural Networks참고 문헌 34인용 수 10

한 줄 요약

이 논문은 입력을 사인 함수 공간으로 매핑하여 학습 중 기울기 변동성을 향상시키고 잘못된 국소 최소값에서 벗어나도록 하는 sf-PINN를 소개한다. 사인 함수 특성 매핑을 통해 입력 주파수를 조절함으로써 sf-PINN는 다양한 물리 영역의 정방 및 역방정식 문제에서 우수한 수렴성과 정확도를 달성한다.

ABSTRACT

A physics-informed neural network (PINN) uses physics-augmented loss functions, e.g., incorporating the residual term from governing partial differential equations (PDEs), to ensure its output is consistent with fundamental physics laws. However, it turns out to be difficult to train an accurate PINN model for many problems in practice. In this paper, we present a novel perspective of the merits of learning in sinusoidal spaces with PINNs. By analyzing behavior at model initialization, we first show that a PINN of increasing expressiveness induces an initial bias around flat output functions. Notably, this initial solution can be very close to satisfying many physics PDEs, i.e., falling into a local minimum of the PINN loss that only minimizes PDE residuals, while still being far from the true solution that jointly minimizes PDE residuals and the initial and/or boundary conditions. It is difficult for gradient descent optimization to escape from such a local minimum trap, often causing the training to stall. We then prove that the sinusoidal mapping of inputs, in an architecture we label as sf-PINN, is effective to increase input gradient variability, thus avoiding being trapped in such deceptive local minimum. The level of variability can be effectively modulated to match high-frequency patterns in the problem at hand. A key facet of this paper is the comprehensive empirical study that demonstrates the efficacy of learning in sinusoidal spaces with PINNs for a wide range of forward and inverse modelling problems spanning multiple physics domains.

연구 동기 및 목표

• 낮은 일반화 및 수렴 문제로 인해 정확한 물리 기반 신경망(PINN)을 훈련시키는 데 어려움이 있다는 문제를 해결한다.
• 표현력이 높아지는 PINN는 출력 함수가 평탄한 경향이 있어 최적화 과정에서 열악한 국소 최소값에 갇힐 수 있음을 규명한다.
• 사인 함수 입력 변환을 통해 기울기 변동성을 높이고 PINN의 최적화 역학을 향상시킬 수 있는지 조사한다.
• 사인 함수 특성 매핑이 잘못된 국소 최소값을 벗어나면서도 물리적 일관성을 유지하는 데 효과적인지 입증한다.
• 유체역학, 열전도, 구조역학 분야의 다양한 정방 및 역방 문제에서 경험적 검증을 제공한다.

제안 방법

• 표준 PINN에 입력 특성을 사인 함수로 변환하는 새로운 아키텍처인 sf-PINN를 제안한다.
• 입력 주파수 수준을 제어할 수 있는 학습 가능한 주파수 조절 파라미터를 사용하여 문제의 고주파 패턴에 적응할 수 있도록 한다.
• PDE 잔차, 경계/초기 조건 제약 조건, 정규화 항을 조합한 수정된 손실 함수를 도입하여 훈련을 안정화시킨다.
• PINN의 초기화 행동을 분석하여 평탄한 해가 일반적이며, 특히 PDE 잔차가 조기에 최소화될 경우 문제가 됨을 보여준다.
• 기울기 기반 분석을 통해 사인 함수 매핑이 입력 기울기 분산을 증가시켜 최적화 경로를 향상시킴을 입증한다.
• 다중 척도 훈련 전략을 구현하여 사인 함수 매핑의 주파수를 점진적으로 증가시켜 기저 PDE의 복잡성과 일치시킨다.

실험 결과

연구 질문

• RQ1 표준 PINN는 PDE 잔차를 최소화하고도 정확한 해에 수렴하지 못하는 이유는 무엇인가?
• RQ2 PINN의 초기화가 최적화 경로와 수렴 행동에 미치는 영향은 무엇인가?
• RQ3 사인 함수 입력 변환은 PINN 훈련에서 기울기 흐름을 향상시키고 국소 최소값에서 벗어나는 데 도움이 될 수 있는가?
• RQ4 입력 공간에서의 주파수 조절은 고주파 물리 현상을 얼마나 잘 표현할 수 있는가?
• RQ5 sf-PINN는 다양한 물리 영역에서 정방 및 역방 문제를 해결할 때 표준 PINN와 비교해 어떤가?

주요 결과

• 표현력이 높아지는 PINN는 출력 함수가 평탄한 경향이 강해져, PDE 잔차는 낮지만 경계 조건을 충족하지 못하는 열악한 국소 최소값에 조기에 수렴할 수 있다.
• 제안된 sf-PINN 아키텍처는 나비에-스토크스 방정식과 열전도 방정식을 포함한 여러 벤치마크 PDE 문제에서 훈련 안정성과 수렴 속도를 크게 향상시킨다.
• 사인 함수 입력 매핑은 입력 기울기 변동성을 증가시켜 더 나은 최적화 역학을 가능하게 하며, 잘못된 국소 최소값에 갇힐 가능성을 줄인다.
• 사인 함수 매핑의 주파수는 목표 해의 스펙트럼 구성에 맞게 효과적으로 조정될 수 있어 일반화 및 정확도 향상에 기여한다.
• 경험적 결과로 sf-PINN는 정방 및 역방 문제에서 표준 PINN를 능가하며, 일부 경우에서 상대 오차를 최대 70%까지 감소시킨다.
• 이 방법은 유체역학, 탄성, 열전도 등 다양한 물리 영역에서 뛰어난 강건성을 보이며 일반화 가능성의 타당성을 확인한다.