[논문 리뷰] Multilevel domain decomposition-based architectures for physics-informed neural networks

Victorita Dolean, Alexander Heinlein외 2명|arXiv (Cornell University)|2023. 06. 08.

Model Reduction and Neural Networks참고 문헌 54인용 수 5

한 줄 요약

이 논문은 고주파 및 다스케일 미분방정식을 위한 정확도와 효율성을 향상시키기 위해 해석적 해 안내에 다수의 겹치는 도메인 분할을 통합한 다중수준 FBPINN이라는 물리에 기반한 신경망 아키텍처를 제안한다. 계층적 분할을 통해 하위 도메인 간 전역적 소통을 가능하게 함으로써, 표준 PINN과 단일 수준 FBPINN에 비해 정확도와 확장성 면에서 뚜렷한 우월성을 보인다.

ABSTRACT

Physics-informed neural networks (PINNs) are a powerful approach for solving problems involving differential equations, yet they often struggle to solve problems with high frequency and/or multi-scale solutions. Finite basis physics-informed neural networks (FBPINNs) improve the performance of PINNs in this regime by combining them with an overlapping domain decomposition approach. In this work, FBPINNs are extended by adding multiple levels of domain decompositions to their solution ansatz, inspired by classical multilevel Schwarz domain decomposition methods (DDMs). Analogous to typical tests for classical DDMs, we assess how the accuracy of PINNs, FBPINNs and multilevel FBPINNs scale with respect to computational effort and solution complexity by carrying out strong and weak scaling tests. Our numerical results show that the proposed multilevel FBPINNs consistently and significantly outperform PINNs across a range of problems with high frequency and multi-scale solutions. Furthermore, as expected in classical DDMs, we show that multilevel FBPINNs improve the accuracy of FBPINNs when using large numbers of subdomains by aiding global communication between subdomains.

연구 동기 및 목표

• 고주파 및 다스케일 미분방정식을 해결하는 데 있어 표준 물리에 기반한 신경망(PINN)의 열악한 성능을 해결하기 위해.
• 다양한 수준의 하위도메인 분할을 기반으로 한 아키텍처를 도입하여 PINN의 스펙트럼 편향과 최적화 과제를 극복하기 위해.
• 고전적 다중수준 샤우르 도메인 분할 방법에 영감을 받아, 더러운 수준의 하위도메인을 통합함으로써 FBPINN의 하위도메인 간 전역적 소통을 향상시키기 위해.
• 기준 PDE 문제들을 대상으로 한 강한 및 약한 스케일링 테스트를 통해 제안된 다중수준 FBPINN 프레임워크의 확장성과 정확도를 평가하기 위해.

제안 방법

• 해결책 안내에 다수의 겹치는 도메인 분할 수준을 도입함으로써 유한 기저 물리에 기반한 신경망(FBPINNs)을 확장한다. 각 수준은 하위도메인 신경망의 계층적 합산을 통해 전역적 해에 기여한다.
• 각 수준에서 겹치는 하위도메인에서 국소 신경망을 훈련시키며, 그 출력을 합산하여 전역적 해를 형성한다. 겹치는 영역를 통해 하위도메인 간 암묵적 결합이 가능해진다.
• 콜로케이션 점들을 관련 하위도메인으로 사전 매핑하고, JAX의 vmap를 사용해 GPU에서 하위네트워크 평가를 병렬화함으로써 효율적으로 해를 계산한다.
• 손실 함수는 모든 콜로케이션 점에서 PDE 잔여항을 강제로 적용하며, 모든 수준의 모든 하위도메인 신경망 기여를 포함하여 전역 일관성을 보장한다.
• 다양한 스케일에서 고주파 해 성분을 여러 하위도메인에 분산시킴으로써 스펙트럼 편향을 완화하도록 아키텍처를 설계한다.
• 프레임워크는 정방향 모델링과 서rogate 학습을 모두 지원하며, 다중 GPU 훈련과 다양한 PDE 계수 또는 경계 조건에 대한 재사용 가능성이 있다.

실험 결과

연구 질문

• RQ1 고주파 및 다스케일 PDE에 대해 다중수준 FBPINN의 정확도는 표준 PINN과 단일 수준 FBPINN에 비해 어떻게 비교되는가?
• RQ2 다중수준 도메인 분할은 하위도메인 간 전역적 소통과 해의 일관성에 얼마나 기여하는가?
• RQ3 PINN, FBPINN, 다중수준 FBPINN 간의 강한 스케일링 및 약한 스케일링 행동은 정확도와 계산 비용 측면에서 어떻게 다를까?
• RQ4 고전적 도메인 분할 이론이 예측한 바와 같이, 많은 수의 하위도메인을 사용할 때 다중수준 FBPINN은 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 다중수준 FBPINN은 고주파 및 다스케일 해를 포함한 모든 테스트 문제에서 표준 PINN보다 일관되고 뚜렷이 뛰어난 정확도를 보였다.
• 큰 수의 하위도메인을 사용할 경우, 단일 수준 FBPINN에 비해 더 높은 정확도를 달성하였으며, 이는 더러운 수준의 하위도메인을 통한 향상된 전역적 소통을 보여주었다.
• 강한 스케일링 테스트 결과, 하위도메인 수가 증가함에 따라 다중수준 FBPINN이 정확도를 유지하거나 향상시키며, 고전적 다중수준 도메인 분할 방법의 이론적 예측과 일치하였다.
• 약한 스케일링 결과는 다중수준 FBPINN이 문제 복잡도 증가에 따라 효율적으로 스케일링되며, 하위도메인에 계산 부담을 분산시키면서도 정확도를 유지함을 보여주었다.
• 제안된 아키텍처는 PINN 대비 훈련 비용을 감소시키고, 복잡한 스펙트럼 내용을 가진 문제에서 수렴성을 향상시켰지만, 비볼록 최적화의 특성으로 인해 전통적 해법보다 여전히 훈련이 느리다.
• 기준 비교에서 푸리에 특징을 사용한 결과, 다중수준 FBPINN은 푸리에 특징 임bedding이 적용된 PINN조차도 여전히 슈퍼어리어로 뛰어나는 성능을 보였다.