[논문 리뷰] nPINNs: nonlocal Physics-Informed Neural Networks for a parametrized nonlocal universal Laplacian operator. Algorithms and Applications

Guofei Pang, Marta D’Elia외 2명|arXiv (Cornell University)|2020. 04. 08.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 비국소 적분 연산자 내의 매개변수와 함수를 추론하기 위해 비국소 물리 기반 신경망(nPINNs)을 도입한다. 이는 고전적 및 분수라프라시안을 일반화하는 통합된 비국소 라플라시안을 포함한다. 이 방법은 상호작용 반경 δ와 순서 α를 동시에 추론할 수 있게 하여 난류 흐름에서의 보편적 스케일링 행동을 드러내며, 수치 수렴성과 구적법 검증을 통해 정확도가 입증된다.

ABSTRACT

Physics-informed neural networks (PINNs) are effective in solving inverse problems based on differential and integral equations with sparse, noisy, unstructured, and multi-fidelity data. PINNs incorporate all available information into a loss function, thus recasting the original problem into an optimization problem. In this paper, we extend PINNs to parameter and function inference for integral equations such as nonlocal Poisson and nonlocal turbulence models, and we refer to them as nonlocal PINNs (nPINNs). The contribution of the paper is three-fold. First, we propose a unified nonlocal operator, which converges to the classical Laplacian as one of the operator parameters, the nonlocal interaction radius $δ$ goes to zero, and to the fractional Laplacian as $δ$ goes to infinity. This universal operator forms a super-set of classical Laplacian and fractional Laplacian operators and, thus, has the potential to fit a broad spectrum of data sets. We provide theoretical convergence rates with respect to $δ$ and verify them via numerical experiments. Second, we use nPINNs to estimate the two parameters, $δ$ and $α$. The strong non-convexity of the loss function yielding multiple (good) local minima reveals the occurrence of the operator mimicking phenomenon: different pairs of estimated parameters could produce multiple solutions of comparable accuracy. Third, we propose another nonlocal operator with spatially variable order $α(y)$, which is more suitable for modeling turbulent Couette flow. Our results show that nPINNs can jointly infer this function as well as $δ$. Also, these parameters exhibit a universal behavior with respect to the Reynolds number, a finding that contributes to our understanding of nonlocal interactions in wall-bounded turbulence.

연구 동기 및 목표

• 비국소 적분 방정식 내의 알려지지 않은 매개변수를 식별하기 위한 물리 기반 프레임워크를 개발하는 것.
• δ → 0 및 δ → ∞일 때 각각 고전적 라플라시안과 분수라프라시안으로 수렴하는 통합된 비국소 라플라시안 연산자를 제안하는 것.
• 희소하고 노이즈가 있으며 다중 정밀도 데이터로 훈련된 신경망을 사용하여 비국소 연산자 내의 상호작용 반경 δ와 순서 α를 동시에 추론할 수 있도록 하는 것.
• 손실 함수의 강한 비볼록성으로 인해 여러 매개변수 조합이 유사한 해 정확도를 낼 수 있는 '연산자 모방 현상'을 조사하는 것.
• 복잡한 난류 흐름(예: 코우에트 흐름)을 모델링하기 위해 공간적으로 변화하는 순서 α(y)를 고려하고 레이놀즈 수에 따라 의존하는 보편적 행동을 식별하는 것.

제안 방법

• 논문은 매개변수 δ(상호작용 반경)와 α(순서)를 가진 매개변수화된 비국소 라플라시안 연산자를 도입하며, δ → 0일 때 고전적 라플라시안으로 수렴하고 δ → ∞일 때 분수라프라시안으로 수렴한다.
• 이 방법은 물리 기반 신경망(PINNs)을 활용하여 비국소 PDE 잔여항, 초기/경계 조건, 관측 데이터를 포함하는 손실 함수를 최소화한다.
• 비국소 적분 연산자를 근사하기 위해 복합 가우스-레지오드르 구적법을 사용하며, 적응형 부분적분과 고차수 구적점으로 정확도를 확보한다.
• 이 프레임워크는 물리 법칙과 관측 데이터를 통합한 단일 손실 함수를 사용하여 δ와 α, 그리고 공간적으로 변화하는 α(y)를 동시에 추론하기 위한 신경망의 공동 훈련을 가능하게 한다.
• 통합된 연산자의 δ에 대한 이론적 수렴 속도는 유도되고 수치적으로 검증되며, 분석적 기대와 일치함을 보였다.
• 이 방법은 비국소 포isson 방정식과 난류 코우에트 흐름을 포함한 벤치마크 문제에 테스트되었으며, 소볼-시퀀스 샘플링과 상대 오차 지표를 통해 구적법 정확도가 평가되었다.

실험 결과

연구 질문

• RQ1 단일 매개변수 δ를 통해 고전적 라플라시안과 분수라프라시안 사이를 매끄럽게 보간하는 통합된 비국소 라플라시안 연산자를 구성할 수 있는가? 그리고 δ 변화에 따른 수렴 성질은 어떠한가?
• RQ2 nPINNs는 희소하고 노이즈가 있으며 비정규적인 데이터로부터 비국소 연산자의 두 핵심 매개변수 δ와 α를 얼마나 정확하게 추론할 수 있는가?
• RQ3 nPINNs의 손실 함수는 연산자 모방 현상으로 인해 다중 국소 최소값을 가지는가? 이는 매개변수 식별 가능성에 어떤 영향을 미치는가?
• RQ4 nPINNs는 공간적으로 변화하는 연산자 순서 α(y)를 추론하는 데 확장될 수 있는가? 특히 코우에트 흐름과 같은 복잡한 난류 흐름에서의 적용은 어떠한가?
• RQ5 벽에 둘러싸인 난류에서 추론된 매개변수 δ와 α(y)는 레이놀즈 수에 따라 보편적 스케일링 행동을 보이는가?

주요 결과

• 제안된 통합된 비국소 라플라시안 연산자는 δ → 0일 때 고전적 라플라시안으로 수렴하고 δ → ∞일 때 분수라프라시안으로 수렴하며, 이론적 수렴 속도는 수치적으로 확인되었다.
• nPINNs는 희소하고 노이즈가 있는 데이터로부터 δ와 α를 성공적으로 추론하였으며, 손실 함수의 강한 비볼록성로 인해 여러 매개변수 조합이 유사한 해 정확도를 낼 수 있는 '연산자 모방 현상'을 보였다.
• 1D, 2D, 3D 테스트 함수에 대한 수치 실험을 통해 구적법 정확도가 검증되었으며, 부분적분 수와 구적점 수가 증가할수록 상대 오차가 감소하는 경향을 보였다.
• 프레임워크는 난류 코우에트 흐름 내에서 공간적으로 변화하는 α(y)를 성공적으로 추론하였으며, δ와 α(y)가 레이놀즈 수에 따라 보편적 의존성을 가지는 것으로 드러났다.
• 다른 레이놀즈 수에서 추론된 매개변수는 일관된 스케일링을 보였으며, 벽에 둘러싸인 난류에서 보편적인 비국소 상호작용 메커니즘이 존재할 가능성을 시사한다.