[논문 리뷰] Finite element interpolated neural networks for solving forward and inverse problems

Santiago Badia, Wei Li외 1명|arXiv (Cornell University)|2023. 06. 09.

Model Reduction and Neural Networks참고 문헌 50인용 수 4

한 줄 요약

이 논문은 전방 및 역방정식 문제를 해결하기 위해 신경망을 유한요소 공간에 통합하는 새로운 프레임워크인 유한요소 보간 신경망(FEINNs)을 소개한다. FE 보간을 통해 경계 조건을 강제로 구현하고, 조절된 노름을 사용한 변분 잔차 최소화를 통해 FEINNs는 뛰어난 수렴성과 일반화 성능을 달성한다. 이는 특히 매끄러운 문제와 복잡한 기하구조에서 기존 표준 FEM 및 PINN 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a general framework for solving forward and inverse problems constrained by partial differential equations, where we interpolate neural networks onto finite element spaces to represent the (partial) unknowns. The framework overcomes the challenges related to the imposition of boundary conditions, the choice of collocation points in physics-informed neural networks, and the integration of variational physics-informed neural networks. A numerical experiment set confirms the framework's capability of handling various forward and inverse problems. In particular, the trained neural network generalises well for smooth problems, beating finite element solutions by some orders of magnitude. We finally propose an effective one-loop solver with an initial data fitting step (to obtain a cheap initialisation) to solve inverse problems.

연구 동기 및 목표

• 낮은 수렴성, 경계 조건 강제 구현, 수치적 적분 오류 등의 문제를 보완하기 위해 물리 기반 신경망(PINNs)의 한계를 해결한다.
• 비볼록, 비선형 신경망을 PDE에 적용할 때 발생하는 과제를 해결하기 위해, 이를 일치하는 유한요소 공간에 통합함으로써 해결한다.
• 반복적인 전방 문제 해법이 필요 없는 단일 루프 솔버를 개발하여 역방정식 문제에 대해 강력한 해법을 제공한다.
• 정규화 조정이 필요 없이, 노이즈가 있거나 부분적인 관측 자료가 있는 경우에도 PDE 제약 조건을 갖는 역방정식 문제를 정확하고 안정적으로 해결할 수 있도록 한다.
• 특히 매끄러운 영역에서 기존의 FEM 및 PINN 변종보다 뛰어난 일반화 및 수렴 속도를 입증한다.

제안 방법

• 노드 보간을 통해 훈련된 신경망을 일치하는 유한요소 공간에 보간하여, 표준 유한요소 오프셋 함수를 통해 딜레르흐 경계 조건을 강제로 구현한다.
• 손실 함수를 메esh 위에서 정확한 적분을 통해 계산된 유한요소 잔차의 L2 노름(또는 기타 노름)으로 설정한다.
• 표준 유한요소 조절자(예: 기하학적 다중 격자 사이클)를 적용하여 손실 곡면을 안정화하고 h→0 극한에서 수렴 속도를 가속화한다.
• 세 단계 훈련 전략을 사용한다: (1) 미분 연산자를 포함하지 않은 데이터 피팅, (2) 잔차 항이 포함된 데이터 피팅, (3) 전체 결합 최소화를 통해 고품질의 초기화를 제공한다.
• 모델 매개변수(예: 확산 계수)를 신경망을 통해 매개변수화하고, 이를 일치하는 유한요소 공간에 보간하여 일관된 변분 공식을 확보한다.
• 손실 함수에 데이터 불일치 항과 PDE 잔차 페널티 항을 결합하여, 단일 훈련 루프 내에서 상태와 매개변수를 동시에 최적화한다.

((a))

실험 결과

연구 질문

• RQ1 매끄러운 PDE 해에 대해, 유한요소 공간에 통합된 신경망이 기존의 표준 FEM 및 PINN 기반 방법보다 수렴성과 일반화 성능에서 뛰어나게 되는가?
• RQ2 FE 보간을 통한 경계 조건 강제 구현 방식이, 컬로케이션 기반 PINN 접근 방식과 비교해 정확도와 안정성 측면에서 어떻게 우월한가?
• RQ3 초기 데이터 피팅을 포함한 단일 루프 훈련 전략이, 애드조인 계산이 필요 없이도 역방정식 문제의 수렴성과 강건성을 향상시키는가?
• RQ4 잔차 노름의 선택과 조절자의 영향이 FEINNs의 훈련 수렴성과 해의 정확도에 어떻게 영향을 미치는가?
• RQ5 복잡한 기하구조와 비균일 딜레르흐 조건을 처리하는 데 있어, FEINNs가 기존의 표준 PINNs나 IVPINNs보다 더 효과적인가?

주요 결과

• FEINNs는 매끄러운 문제에서 표준 FEM 및 보간되지 않은 PINN 솔루션보다 수십만 배 이상 뛰어난 일반화 성능을 보인다.
• 대류-확산-반응 문제에서, IVPINNs가 수렴하지 못하는 높은 메쉬 해상도와 다항식 차수에서도 FEINNs는 FEM 오차 수준에 수렴한다.
• 초기 데이터 피팅을 포함한 세 단계 훈련 전략은 특히 부분적 또는 노이즈가 있는 관측 자료가 있는 역방정식 문제에서 수렴 속도 향상과 강건성 향상을 이끈다.
• FEINNs는 정규화 조정이 필요 없이도 강건성을 유지한다. 반면 애드조인 기반 신경망 방법은 성능을 위해 정규화에 크게 의존한다.
• 비트레이스 기하구조에서는 FEINNs가 PINNs 및 IVPINNs가 경계 조건 강제 구현에 어려움을 겪는 것과는 달리, 딜레르흐 경계 조건과 복잡한 영역을 더 효과적으로 처리한다.
• 조절된 잔차 노름(예: GMG 사이클을 사용한 경우)은 훈련을 가속화하고 수렴성을 향상시키며, h→0 극한에서 손실 함수가 잘 정의된 상태를 유지한다.

((b))