[논문 리뷰] Kolmogorov Arnold Informed neural network: A physics-informed deep learning framework for solving forward and inverse problems based on Kolmogorov Arnold Networks

Yizheng Wang, Jia Sun외 6명|arXiv (Cornell University)|2024. 06. 16.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 편미분방정식(PDE)의 정방 및 역방 문제를 해결하기 위해 기존의 다층퍼셉트론(MLP) 대신 콜모고로프-아르놀드 네트워크(KAN)를 사용하는 물리기반 딥러닝 프레임워크인 콜모고로프-아르놀드-기반 신경망(KINN)을 소개한다. KINN은 학습 가능한 단변수 함수와 단변수 함수 분해를 통해 다양한 계산 고체역학 분야의 PDE 문제에서 뛰어난 정확도와 수렴 속도를 달성하지만, 복잡한 기하학적 영역에서는 MLP와 유사한 성능을 보인다.

ABSTRACT

AI for partial differential equations (PDEs) has garnered significant attention, particularly with the emergence of Physics-informed neural networks (PINNs). The recent advent of Kolmogorov-Arnold Network (KAN) indicates that there is potential to revisit and enhance the previously MLP-based PINNs. Compared to MLPs, KANs offer interpretability and require fewer parameters. PDEs can be described in various forms, such as strong form, energy form, and inverse form. While mathematically equivalent, these forms are not computationally equivalent, making the exploration of different PDE formulations significant in computational physics. Thus, we propose different PDE forms based on KAN instead of MLP, termed Kolmogorov-Arnold-Informed Neural Network (KINN) for solving forward and inverse problems. We systematically compare MLP and KAN in various numerical examples of PDEs, including multi-scale, singularity, stress concentration, nonlinear hyperelasticity, heterogeneous, and complex geometry problems. Our results demonstrate that KINN significantly outperforms MLP regarding accuracy and convergence speed for numerous PDEs in computational solid mechanics, except for the complex geometry problem. This highlights KINN's potential for more efficient and accurate PDE solutions in AI for PDEs.

연구 동기 및 목표

• 기존의 다층퍼셉트론(MLP) 기반 물리기반 신경망(PINNs)의 한계를 해결하기 위해, 해석성이 낮고 파rameter 수가 많다는 점을 다루기 위함.
• Kolmogorov-Arnold 네트워크(KANs)가 PDE를 해결하는 데 있어 더 효율적이고 해석 가능한 MLP의 대안이 될 잠재력을 탐색하기 위함.
• 다양한 물리적 및 기하학적 조건 하에서 강형, 에너지형, 역형, 약형 등 여러 형태의 PDE에 대해 MLP 기반과 KAN 기반 PINNs를 체계적으로 비교하기 위함.
• 다중 스케일, 특이점, 응력 집중, 비선형 초탄성, 이종성, 복잡한 기하학 영역 등 도전적인 문제에서 KINN의 성능 평가하기 위함.
• 스케일 정규화가 대규모 영역 PDE 문제에서 해의 안정성과 수렴성에 미치는 영향을 조사하기 위함.

제안 방법

• PINNs의 완전연결층을 KAN으로 대체하여 새로운 프레임워크인 콜모고로프-아르놀드-기반 신경망(KINN)을 제안하며, 고정된 활성화 함수 대신 학습 가능한 단변수 함수를 사용한다.
• Kolmogorov-Arnold 표현 정리를 활용하여 다변수 함수를 단변수 함수의 합으로 분해함으로써, 더 효율적이고 해석 가능한 함수 근사가 가능하도록 한다.
• B-spline을 사용하여 KAN 내 학습 가능한 활성화 함수를 구성하며, 체비셰프 다항식, 라디얼 기저 함수, 웨이블릿 등 다른 변형도 탐색한다.
• KAN 프레임워크 내에서 강형, 에너지형(DEM), 역형(BINN), 약형(hp-VPINN) 등의 다양한 PDE 형태를 적용하여 계산적 동등성과 효율성을 평가한다.
• 공간 좌표를 $ \frac{\mathbf{x}}{L} $로 재스케일링함으로써 스케일 정규화를 도입하여 유도 미분에서의 큰 기울기 효과를 완화하고 학습 안정성을 향상시킨다. 여기서 $ L $은 특성 치수이다.
• KINN 모델을 학습하기 위해 PDE 잔여항, 경계 조건, 에너지 형식의 경우 변분 에너지 최소화를 통합한 통합 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 KAN 기반 신경망은 계산 고체역학 분야의 정방 및 역방 PDE 문제 해결에서 기존의 MLP 기반 PINNs를 능가할 수 있는가?
• RQ2 KAN에서 학습 가능한 단변수 활성화 함수를 사용할 경우, 고정된 활성화 함수를 사용하는 MLP 대비 수렴 속도와 해의 정확도에 어떤 영향을 미치는가?
• RQ3 KINN 프레임워크는 강형, 에너지형, 역형, 약형 등 다양한 PDE 형태에서 뛰어난 성능을 유지하는가, 아니면 선택된 형태에 따라 성능이 민감하게 변하는가?
• RQ4 스케일 정규화는 대규모 영역 PDE 문제에서 KINN 해의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ5 다중 스케일, 특이점, 복잡한 기하학 등 어떤 유형의 문제에서 KINN은 MLP 기반 PINNs에 비해 특별한 이점이나 한계를 보이는가?

주요 결과

• KINN은 다중 스케일, 특이점, 응력 집중, 비선형 초탄성, 이종성 재료 문제를 포함한 대부분의 PDE 문제에서 MLP 기반 PINNs보다 해의 정확도와 수렴 속도 면에서 뚜렷한 우월성을 보인다.
• KINN의 성능 향상 요인은 MLP의 고정 활성화 함수 대비 더 적은 파rameter로도 더 나은 함수 근사를 가능하게 하는 KAN의 학습 가능한 활성화 함수에 기인한다.
• 특성 치수가 큰 문제에서는 스케일 정규화가 필수적이다: $ x \cdot \partial_x \phi $ 항으로 인해 좌표 도함수가 유한하지 않게 증가할 수 있으며, 이는 불안정한 기울기와 열악한 수렴을 초래한다.
• 스케일 정규화를 적용하면 KINN은 안정적인 학습과 정확한 해를 유지하며, 해의 크기가 영역 크기에 선형적으로 비례하여 물리적 일관성을 유지한다.
• 복잡한 기하학 문제에서는 KINN이 MLP와 유사한 성능을 보이며, 이는 기하학적 복잡성이 KAN의 이점을 제한할 수 있음을 시사한다.
• 에너지 형식(DEM)의 KINN는 특히 스케일 정규화와 함께 사용될 경우 변분 에너지 최소화의 성격 덕분에 뛰어난 강건성을 보인다.