[논문 리뷰] Neural network augmented inverse problems for PDEs

Jens Berg, Kaj Nyström|arXiv (Cornell University)|2017. 12. 27.

Numerical methods in inverse problems참고 문헌 18인용 수 32

한 줄 요약

이 논문은 편미분방정식(PDE)의 역문제를 해결하기 위한 신경망 보완 기법을 제안한다. 여기서 전방향 신경망은 기존의 티호노프 정규화를 대체하는 부드럽고 전역적인 사전 정보로 사용된다. 이 방법은 1D~3D 푸아송 방정식에서 노이즈가 있는, 완전하지 않은, 비균일하게 샘플링된 데이터를 대상으로 강력한 성능을 보이며, 명시적 정규화 없이도 정확한 재구성을 달성한다. 특히 불연속적이거나 다스케일 계수를 가진 도전적인 상황에서 전통적인 유한요소법(FEM)보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper we show how to augment classical methods for inverse problems with artificial neural networks. The neural network acts as a prior for the coefficient to be estimated from noisy data. Neural networks are global, smooth function approximators and as such they do not require explicit regularization of the error functional to recover smooth solutions and coefficients. We give detailed examples using the Poisson equation in 1, 2, and 3 space dimensions and show that the neural network augmentation is robust with respect to noisy and incomplete data, mesh, and geometry.

연구 동기 및 목표

• PDE에서 계수의 역문제가 악조건임을 다루며, 특히 노이즈가 있거나 완전하지 않은 데이터에서의 문제를 해결한다.
• 기존의 티호노프 정규화를 대체하여 부드러움을 내재적으로 촉진하는 신경망 기반 사전 정보를 도입한다.
• 다양한 메쉬 유형, 기하 구조, 데이터 희소성 수준에서 계수 재구성의 강건성을 향상시킨다.
• 최적의 정규화 조건 하에서 신경망 사전 정보의 성능을 전통적인 유한요소법(FEM)과 비교 평가한다.
• 불연속적이거나 다스케일 계수를 재구성할 때 저용량 신경망의 암묵적 정규화 특성을 조사한다.

제안 방법

• 모르는 계수 $ q(x) $ 를 매개변수화하기 위해 은닉층에 시그모이드 활성화함수를 사용하고 출력층에 선형 활성함수를 사용하는 전방향 신경망을 사용하여 전역적이고 부드러운 함수 근사가 가능하다.
• FEniCS를 사용해 정방 PDE를 푸는 것과 dolfin-adjoint를 사용해 자동으로 애드조인트 기반 기울기를 계산하는 PDE 제약 최적화 프레임워크에 신경망 사전 정보를 통합한다.
• 표준 최적화 알고리즘(예: BFGS)을 사용해 데이터 불일치 오차 기능 $ J(u,q) = \frac{1}{2}\|u - \hat{u}\|_{L^2}^2 $ 을 최소화하며, 기울기는 애드조인트 방법으로 계산한다.
• 신경망의 인덕티브 바이어스에 의존해 명시적인 티호노프 유형의 페널티 없이도 해를 암묵적으로 정규화한다.
• 디리클레 경계 조건을 가진 1D, 2D, 3D 영역에서 푸아송 방정식 $ -\nabla \cdot (q(x)\nabla u) = f $ 에 이 방법을 적용한다.
• 노이즈가 있는 측정치, 완전하지 않은 데이터, 다양한 메쉬 및 기하 구조 설정에서의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 신경망은 명시적인 티호노프 유형 정규화 없이도 역 PDE 문제에서 효과적인 암묵적 정규화제로 작용할 수 있는가?
• RQ2 유사한 조건 하에서 전통적인 FEM에 비해 신경망 사전 정보는 어떻게 성능을 내는가? (최적의 티호노프 정규화 조건에서)
• RQ3 이 방법은 다양한 공간 차원에서 노이즈, 완전하지 않은, 또는 희소한 측정치 데이터에 대해 어느 정도 강건한가?
• RQ4 신경망은 불연속적이거나 다스케일 계수를 효과적으로 재구성할 수 있으며, 네트워크 용량은 어떤 역할을 하는가?
• RQ5 신경망 사전 정보의 전역적이고 부드러운 특성 덕분에 측정치가 경계 근처에서만 제공될 경우에도 정확한 계수 추정이 가능한가?

주요 결과

• 신경망 방법은 명시적 정규화 없이도, 네트워크의 인덕티브 바이어스에 의해 부드러움을 강제함으로써 정확한 계수 재구성을 달성한다.
• 5% 노이즈가 있는 1D 푸아송 문제에서, 최적의 티호노프 정규화를 사용한 FEM은 계수 오차($||q - \hat{q}||$) 측면에서 신경망을 능가한다. 선형 $q = x+1$ 에서 FEM은 $2.06 \times 10^{-4}$, 신경망은 $5.03 \times 10^{-3}$ 을 기록한다.
• 계수 복원 오차가 더 높음에도 불구하고, 신경망 방법은 특히 고차원 및 복잡한 기하 구조에서 노이즈와 데이터 희소성에 더 강건하다.
• 다양한 메쉬 유형과 경계 데이터 설정에서 1D, 2D, 3D 영역 전역에서 계수를 성공적으로 재구성하여 기하 구조 간 일반화 능력을 입증한다.
• 불연속적이거나 다스케일 계수의 경우, 저용량 신경망은 부드러운 재구성을 제공하지만, 더 정확한 결과를 얻기 위해 명시적 정규화 또는 고급 네트워크 설계가 필요하다.
• 신경망 방법은 FEM보다 더 많은 반복과 시간(예: $q = 1 + 0.5\sin(2\pi x)$ 에서 190초)이 소요되지만, 경계선에서만 측정치가 제공될 경우에도 전역 재구성을 가능하게 한다.