[논문 리뷰] PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm Optimization

Caio Davi, Ulisses Braga-Neto|arXiv (Cornell University)|2022. 02. 04.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 기울기 기반 PINN 학습에서 발생하는 수렴 문제를 해결하기 위해 입자군집최적화(PSO)를 사용하는 물리정보 신경망 프레임워크인 PSO-PINN를 제안한다. PSO-BP-CD—적응형 기울기 하강법을 통합한 하이브리드 PSO—를 도입함으로써 PSO-PINN는 표준 ADAM 및 다른 PSO 변형보다 우수한 정확도와 불확도 정량화 성능을 달성하였다. 이는 ODE 및 PDE 벤치마크에서 검증되었다.

ABSTRACT

Physics-informed neural networks (PINN) have recently emerged as a promising application of deep learning in a wide range of engineering and scientific problems based on partial differential equation (PDE) models. However, evidence shows that PINN training by gradient descent displays pathologies that often prevent convergence when solving PDEs with irregular solutions. In this paper, we propose the use of a particle swarm optimization (PSO) approach to train PINNs. The resulting PSO-PINN algorithm not only mitigates the undesired behaviors of PINNs trained with standard gradient descent but also presents an ensemble approach to PINN that affords the possibility of robust predictions with quantified uncertainty. We also propose PSO-BP-CD (PSO with Back-Propagation and Coefficient Decay), a hybrid PSO variant that combines swarm optimization with gradient descent, putting more weight on the latter as training progresses and the swarm zeros in on a good local optimum. Comprehensive experimental results show that PSO-PINN with the proposed PSO-BP-CD algorithm outperforms PINN ensembles trained with other PSO variants or with pure gradient descent.

연구 동기 및 목표

• 비정규적이거나 급격히 변화하는 해를 가지는 PDE에 대해 기울기 기반 학습에서 발생하는 수렴 병태를 해결하기 위해.
• 불확도 정량화와 분산 감소를 지원하는 앙상블 학습을 가능하게 하는 군집 기반 학습 프레임워크를 개발하기 위해.
• 학습이 진행됨에 따라 기울기 하강법에 대한 의존도를 동적으로 증가시키는 하이브리드 최적화 방법인 PSO-BP-CD를 제안하기 위해.
• 다양한 PDE 및 ODE 벤치마크에서 표준 ADAM 기반 PINN 앙상블과 다른 PSO 변형보다 정확도와 강건성 면에서 PSO-PINN가 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• PSO-PINN는 데이터 피팅 항과 PDE 잔차 항을 조합한 다중 부분 손실 함수를 사용하며, 이는 PINN에서 일반적으로 사용되는 방식이지만, 기울기 하강법 대신 입자군집최적화를 통해 최적화한다.
• 이 방법은 입자군집의 속도 업데이트와 역전파 기울기 값을 통합한 PSO-BP-CD 변형을 사용하며, 시간이 지남에 따라 군집의 인지적 및 사회적 성분의 影향을 점차 감소시킨다.
• 군집 내 각 입자는 고유한 가중치와 편향을 가진 별개의 PINN를 나타내며, 이는 공동으로 예측 신뢰도를 향상시키는 앙상블 모델을 가능하게 한다.
• 알고리즘은 100개의 PINN로 구성된 군집을 초기화하며, 동일한 손실 함수를 사용하여 각 모델을 학습하고, PSO-BP-CD를 통해 데이터 및 PDE 제약 조건을 통합한 손실을 최소화하도록 매개변수를 진화시킨다.
• 최종 예측은 앙상블 평균이며, 불확도는 앙상블 분산을 통해 추정되며, 校정된 신뢰구간을 제공한다.
• 학습률(α), 인지적(c₁), 사회적(c₂) 계수와 같은 하이퍼파rameter는 모델 선택을 통해 튜닝되며, 학습률 스케줄링이 필요하지 않다.

실험 결과

연구 질문

• RQ1 비정규적인 해를 가지는 PDE에서 기울기 역학이 강한 경우 발생하는 PINN 학습의 수렴 병태를 입자군집최적화가 완화할 수 있는가?
• RQ2 하이브리드 PSO-기울기 하강법(PSO-BP-CD)은 순수한 PSO 또는 표준 기울기 하강법보다 PINN 성능을 향상시키는가?
• RQ3 PSO-PINN는 표준 ADAM 기반 PINN 앙상블보다 더 정확하고 강건한 예측을 불확도 정량화와 함께 제공할 수 있는가?
• RQ4 PSO-PINN의 앙상블 구조는 독립적인 PINN 학습과 비교해 예측 신뢰도와 불확도 추정을 어떻게 향상시키는가?

주요 결과

• PSO-BP-CD를 사용한 PSO-PINN는 Allen-Cahn 방정식 벤치마크에서 L₂ 오차 0.093 ± 0.032를 기록하였으며, 이는 ADAM 앙상블의 오차 0.327 ± 0.029보다 유의미하게 뛰어났다.
• PSO-PINN 앙상블은 기준 해에 수렴한 반면, ADAM 앙상블은 수렴하지 못했으며, 이는 그림 7에서 시각적으로 확인되었다.
• PSO-BP-CD는 모든 벤치마크에서 순수한 PSO 및 PSO-BP를 모두 초월하였으며, 비선형 Burgers 방정식에서 특히 뛰어난 성능을 보여, 적응형 기울기 가중치의 유용성을 입증하였다.
• PSO-PINN의 앙상블 분산은 잘 校정된 불확도 추정을 제공하였으며, 낮은 분산은 예측에 대한 높은 신뢰도를 의미했다.
• PSO-PINN 프레임워크는 다수의 독립적인 실행에서 일관된 성능을 보였으며, 하이퍼파rameter 값이 실험 간에 안정적이고 이식 가능했다.