[논문 리뷰] Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach

Zhiwei Fang, Sifan Wang외 1명|arXiv (Cornell University)|2023. 02. 25.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 도전적인 PDE를 해결하기 위해 다수의 신경망을 순차적으로 훈련하는 새로운 앙상블 학습 방법인 그래디언트 부스팅 물리 기반 신경망(GB PINNs)을 제안한다. 점진적으로 잔차를 보정함으로써 그래디언트 부스팅 원리에 따라 GB PINNs는 표준 PINNs 및 이전 방법들에 비해 상당히 낮은 오차를 달성한다. 예를 들어 비선형 반응-확산 문제에서 상대 l² 오차가 0.58%에 불과하다.

ABSTRACT

While the popularity of physics-informed neural networks (PINNs) is steadily rising, to this date, PINNs have not been successful in simulating multi-scale and singular perturbation problems. In this work, we present a new training paradigm referred to as "gradient boosting" (GB), which significantly enhances the performance of physics informed neural networks (PINNs). Rather than learning the solution of a given PDE using a single neural network directly, our algorithm employs a sequence of neural networks to achieve a superior outcome. This approach allows us to solve problems presenting great challenges for traditional PINNs. Our numerical experiments demonstrate the effectiveness of our algorithm through various benchmarks, including comparisons with finite element methods and PINNs. Furthermore, this work also unlocks the door to employing ensemble learning techniques in PINNs, providing opportunities for further improvement in solving PDEs.

연구 동기 및 목표

• 다중 척도 및 특이 섭동 문제를 해결할 때 지속적인 불안정성과 부정확성을 보이는 표준 PINNs의 문제를 해결한다.
• PDE 해의 고주파 및 복잡한 특징을 포착하는 데 한계가 있는 단일 네트워크 PINNs의 한계를 극복한다.
• 초기 설정 조정이 거의 필요 없는 스케일러블하고 모듈러한 훈련 프레임워크를 도입하여 PINN 성능을 앙상블 학습을 통해 향상시킨다.
• 기존 PINN 기법(예: 푸리에 특징 및 적응형 손실 가중치)과의 통합을 가능하게 하여 더 넓은 적용 가능성을 확보한다.
• 일반화 및 수렴 성능을 향상시키기 위해 유연하고 그래디언트 부스팅 기반의 패러다임을 제공한다.

제안 방법

• 각 신경망이 이전 앙상블의 잔차 오차를 학습하도록 순차적으로 다수의 신경망을 훈련한다.
• 각 신규 네트워크가 현재 예측에 대한 손실의 음의 기울기(기울기)를 피팅하도록 그래디언트 부스팅을 사용하여 PDE 잔차 손실을 최소화한다.
• PDE 잔차, 경계 조건, 초기 조건 손실의 가중합으로 총 손실을 설정하며, 훈련 동역학을 균형 있게 유지하기 위해 적응형 가중치를 적용한다.
• 잔차 보정 메커니즘을 적용: 최종 예측은 순서에 따라 모든 개별 신경망 출력의 합이다.
• 표준 완전 연결 네트워크를 사용하며, 표현 능력을 향상시키기 위해 선택적 푸리에 특징 임bedding을 적용한다.
• PDE, 경계 및 초기 조건 항목에 대해 고정된 배치 크기를 사용하는 미니배치 확률적 최적화를 적용하여 안정적인 훈련을 보장한다.

실험 결과

연구 질문

• RQ1 그래디언트 부스팅이 물리 기반 신경망(PINNs)의 훈련 안정성과 정확도 향상에 효과적으로 적용될 수 있는가?
• RQ2 다중 척도 및 특이 섭동 문제를 해결할 때, 약한 PINN 예측자들의 순차적 앙상블이 단일 대규모 PINN보다 우수한 성능을 내는가?
• RQ3 네트워크 아키텍처 및 학습률과 같은 하이퍼파rameter 선택에 대해 GB PINN 방법은 얼마나 민감한가?
• RQ4 기본 PDE 기준 테스트에서 GB PINNs는 표준 PINNs 및 기타 최첨단 방법에 비해 상대 l² 오차를 얼마나 감소시킬 수 있는가?
• RQ5 GB PINNs가 실패하는 유형의 PDE는 무엇이며, 이 방법의 근본적인 제약은 무엇인가?

주요 결과

• 2D 특이 섭동 문제(내부 경계 포함)에서 GB PINNs는 상대 l² 오차 3.37%를 달성했으며, 이는 표준 PINNs의 16%에 비해 훨씬 낮은 오차이다.
• 비선형 반응-확산 방정식에서 GB PINNs는 상대 l² 오차 0.58%를 기록했으며, 유사 조건에서 이전 방법들이 보고한 2.36% 오차를 뛰어넘었다.
• 3단계 훈련(비교 대상인 Krishnapriyan 등의 순차적-순차적 접근의 20단계 대비)을 사용했음에도 불구하고, GB PINNs는 오차를 약 4배 감소시켰다.
• GB PINNs는 네트워크 아키텍처 및 하이퍼파rameter 선택에 대해 낮은 민감도를 보이며, 일관된 성능을 유지하기 위해 최소한의 튜닝만 필요로 한다.
• 전통적인 PINNs가 정확히 포착하지 못하는 고주파 특징과 다중 척도 행동을 가진 문제들을 성공적으로 해결했다.
• 장점이 있음에도 불구하고, GB PINNs는 유동성이 없는 버거스 방정식과 같이 도함수의 폭발이 발생하는 보존 법칙 문제에서는 여전히 효과적이지 않다. 이는 PDE 손실에 대한 민감도가 부족하기 때문이다.