[논문 리뷰] Lie Point Symmetry and Physics Informed Networks

Tara Akhound-Sadegh, Laurence Perreault-Levasseur외 3명|arXiv (Cornell University)|2023. 11. 07.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 표본 효율성과 일반화 능력을 향상시키기 위해 물리 기반 신경망(PINNs)에 리 군의 점 대칭성을 통합하는 대칭 인식 손실 함수를 도입한다. 무한소 대칭 생성자들이 편미분방정식(PDE) 해를 유지하도록 강제함으로써, 특히 버거스 방정식과 같은 복잡한 비선형 PDE에서 PINN 성능이 향상된다. 실험 결과로는 오차 감소와 장시간 예측 향상이 뚜렷하게 관찰되었다.

ABSTRACT

Symmetries have been leveraged to improve the generalization of neural networks through different mechanisms from data augmentation to equivariant architectures. However, despite their potential, their integration into neural solvers for partial differential equations (PDEs) remains largely unexplored. We explore the integration of PDE symmetries, known as Lie point symmetries, in a major family of neural solvers known as physics-informed neural networks (PINNs). We propose a loss function that informs the network about Lie point symmetries in the same way that PINN models try to enforce the underlying PDE through a loss function. Intuitively, our symmetry loss ensures that the infinitesimal generators of the Lie group conserve the PDE solutions. Effectively, this means that once the network learns a solution, it also learns the neighbouring solutions generated by Lie point symmetries. Empirical evaluations indicate that the inductive bias introduced by the Lie point symmetries of the PDEs greatly boosts the sample efficiency of PINNs.

연구 동기 및 목표

• 편미분방정식(PDE)을 해결하는 데 있어 PINNs의 일반화 능력과 표본 효율성의 한계를 해결하기 위해.
• PDE 해를 유지하는 것으로 알려진 리 점 대칭성을 PINN 프레임워크에 유도적 편향으로 통합해 보다.
• 자동 미분 기반의 미분 가능 방법을 개발하여 대칭 제약 조건을 직접 PINN 손실 함수 내부에 강제하기 위해.
• 대칭 정규화가 일반화 능력을 향상시키며, 특히 장시간 예측 및 비선형 PDE인 버거스 방정식에서 성능 향상을 이끌어내는지 확인하기 위해.

제안 방법

• 자동 미분를 사용하여 편미분에 대해 리 점 대칭 생성자를 연장함으로써 대칭 손실을 수립한다.
• 리 군의 각 무한소 생성자에 대해 대칭 벡터장과 PDE 잔차 사이의 수직 조건을 계산하여, 대칭 변환에 대한 해의 불변성을 강제한다.
• 표준 PINN 손실(즉, PDE 잔차, 초기 조건, 경계 조건 항 포함)에 대칭 손실을 페널티 항으로 추가한다.
• 대칭 손실은 PDE 손실과 동일한 콜로케이션 점에서 강제되며, 이로써 공동 최적화가 가능하다.
• 중복을 방지하기 위해 PDE 잔차에 비례하지 않는 유용한 대칭들만 선택하여 훈련 신호의 품질을 향상시킨다.
• 열 방정식과 버거스 방정식에 이 방법을 적용하였으며, 잔차 및 대칭 점의 수를 다양하게 설정하여 표본 효율성을 평가하였다.

실험 결과

연구 질문

• RQ1 리 점 대칭성이 PINNs에 효과적으로 통합되어 일반화 능력과 표본 효율성을 향상시키는 정규화 메커니즘으로 기능할 수 있는가?
• RQ2 다양한 PDE에서 예측 정확도와 내성에 비해 대칭 정보를 반영한 손실이 표준 PINN 손실보다 우월한가?
• RQ3 어떤 리 점 대칭이 실제로 훈련 신호에 기여하며, 이를 자동으로 식별하고 강제할 수 있는가?
• RQ4 대칭 정규화는 특히 장시간 예측이나 충격 형성 PDE인 버거스 방정식에서 성능 향상에 기여하는가?
• RQ5 정확한 시뮬레이션 비용이 높을 경우, 대칭 손실이 큰 잔차 데이터셋에 대한 의존도를 줄이거나 대체할 수 있는가?

주요 결과

• 리 점 대칭 손실의 포함으로 PINNs의 표본 효율성이 크게 향상되어 제한된 훈련 데이터 조건에서도 테스트 오차가 감소하였다.
• 버거스 방정식의 경우, 대칭 손실을 적용한 모델이 기준 모델보다 평균 제곱 오차가 낮았으며, 충격 형성이 복잡해지는 더 큰 시간 단계에서 특히 두드러진 성능 향상이 관찰되었다.
• 대칭 손실은 장시간 예측 성능을 향상시켰으며, 그림 3에서 명백한 성능 향상이 관찰되었고, 대칭 정규화된 모델이 충격 역학을 더 잘 포착하였다.
• 특정 대칭들(예: 버거스 방정식에서의 v₅)만이 유용한 훈련 신호를 제공하였고, 나머지 대칭들은 중복되거나 PDE 손실과 동일시되었다.
• 잔차 점의 수를 늘릴 때 표준 PINNs와 비교해 유사하거나 더 좋은 성능을 달성하였으며, 이는 대칭 정규화가 데이터 증강의 효율적인 대안이 될 수 있음을 시사한다.
• 버거스 방정식 실험에서 코사인 유사도가 L2보다 더 효과적인 측정 지표로 나타났으며, 이는 손실 설정에 민감함을 시사한다.