[논문 리뷰] Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks

Jihun Han, Yoonsang Lee|arXiv (Cornell University)|2021. 12. 02.

Model Reduction and Neural Networks참고 문헌 24인용 수 5

한 줄 요약

이 논문은 다스케일 편미분방정식(PDE)을 해결할 때 수렴성과 정확도를 향상시키기 위해 이전 수준의 잔차를 보정하는 순차적인 네트워크를 훈련시킴으로써 계층적인 물리 기반 신경망(PINN) 프레임워크를 제안한다. 신경망이 저주파 성분을 선호하는 특성을 활용하여, 각 후속 수준은 고주파 성분을 더 잘 포착하도록 전문화되며, 이는 어려운 선형 및 비선형 PDE에서 오차를 크게 감소시키고 수렴 속도를 가속화한다.

ABSTRACT

The neural network-based approach to solving partial differential equations has attracted considerable attention due to its simplicity and flexibility in representing the solution of the partial differential equation. In training a neural network, the network learns global features corresponding to low-frequency components while high-frequency components are approximated at a much slower rate. For a class of equations in which the solution contains a wide range of scales, the network training process can suffer from slow convergence and low accuracy due to its inability to capture the high-frequency components. In this work, we propose a hierarchical approach to improve the convergence rate and accuracy of the neural network solution to partial differential equations. The proposed method comprises multi-training levels in which a newly introduced neural network is guided to learn the residual of the previous level approximation. By the nature of neural networks' training process, the high-level correction is inclined to capture the high-frequency components. We validate the efficiency and robustness of the proposed hierarchical approach through a suite of linear and nonlinear partial differential equations.

연구 동기 및 목표

• 다양한 스케일을 포함하는 해를 가지는 PDE를 풀 때 표준 PINN의 느린 수렴성과 낮은 정확도 문제를 해결한다.
• 신경망이 저주파 성분을 먼저 학습하는 내재된 편향으로 인해 고주파 해상도가 어려워지는 문제를 극복한다.
• 각 수준의 네트워크 복잡도를 증가시키지 않고도 다스케일 해의 근사치를 향상시킬 수 있는 확장 가능한 다수준 훈련 전략을 개발한다.
• 복잡한 속도장이 있는 이동-확산 방정식을 포함한 다양한 선형 및 비선형 PDE에서 강건성과 효율성을 입증한다.
• 모듈식이고 스케일 인식 네트워크 설계를 통해 계층적 학습을 시간에 의존하거나 고차원 PDE로 확장할 수 있는 기반을 마련한다.

제안 방법

• 각 후속 신경망이 이전 수준의 근사치의 잔차를 학습하는 계층적 훈련 파이프라인을 도입한다.
• 각 수준을 훈련하기 위해 PDE 잔차, 경계 조건 및 약한 형태를 기반으로 한 손실 함수를 사용하는 물리 기반 신경망(PINNs)을 적용한다.
• 신경망이 학습할 주파수 척도를 명시적으로 제어하기 위해 푸리에 특징 임bedding을 적용한다.
• 첫 번째 네트워크는 해의 주요 저주파 성분을 근사하도록 훈련하고, 이후 네트워크는 잔차 오차를 보정하도록 훈련한다.
• 이전 수준의 훈련이 고정된 반복 수를 거친 후에 고차 수준의 훈련을 시작함으로써 고주파 성분의 점진적 정밀화를 가능하게 한다.
• 이중 수준 계층: 첫 번째 수준은 저주파 임베딩(σ=2)을 사용하고, 두 번째 수준은 고주파(σ=5)를 사용하며, 순차적으로 적용된다.

실험 결과

연구 질문

• RQ1 계층적 훈련 전략은 다스케일 PDE를 위한 PINN의 수렴 속도와 정확도를 향상시킬 수 있는가?
• RQ2 다양한 네트워크 수준을 거쳐 잔차를 순차적으로 보정하는 방식이 단일 네트워크 PINN 훈련에 비해 고주파 해 성분을 얼마나 잘 포착하는가?
• RQ3 푸리에 특징 임베딩의 사용이 각 네트워크 수준이 해의 특정 주파수 대역을 목표로 하는 능력을 얼마나 향상시키는가?
• RQ4 계층적 접근법은 복잡한 다스케일 구조를 가진 다양한 선형 및 비선형 PDE에서 강건성을 유지하는가?
• RQ5 잔차 보정 메커니즘의 적응을 통해 계층적 프레임워크를 시간에 의존하거나 고차원 PDE로 확장할 수 있는가?

주요 결과

• 정체된 이동-확산 방정식에 대해 다스케일 속도장이 존재하는 경우, 계층적 접근법은 표준 PINN 훈련 대비 상대 L² 오차를 최대 70% 감소시켰다.
• 훈련 손실이 내부, 딜리클레, 뉴먼 구성요소 모두에서 단일 수준 훈련보다 더 빠르게 감소하여 더 빠른 수렴을 달성했다.
• 계층적 훈련을 거친 푸리에 특징 임베딩 네트워크는 표준 단일 임베딩 PINN에 비해 점별 오차가 훨씬 낮고 균일하게 분포되어 있었다.
• 첫 번째 수준 네트워크는 저주파 성분을 성공적으로 포착했고, 두 번째 수준 네트워크는 잔차 목표 함수의 시각적 분석을 통해 고주파 보정에 집중했음을 확인했다.
• 계층적 방법은 표준 PINN에 다중 푸리에 임베딩(σ=2,5)을 적용한 경우보다 정확도와 수렴 속도에서 뛰어난 성능을 보였다.
• 비선형 PDE를 포함한 여러 테스트 케이스에서 강건성을 입증하여 선형 타원 문제 외에도 넓은 적용 가능성을 보였다.