[논문 리뷰] Conductivity Imaging from Internal Measurements with Mixed Least-Squares Deep Neural Networks

Bangti Jin, Xi‐Yao Li외 2명|arXiv (Cornell University)|2023. 03. 29.

Groundwater flow and contamination studiesEnvironmental Science인용 수 3

한 줄 요약

이 논문은 타원형 PDE의 전체 도메인 내부 측정값에서 도전성 분포를 재구성하기 위한 혼합 최소제곱 딥 뉴럴 네트워크(DNN) 프레임워크를 제안한다. 최소제곱 손실과 H¹ 정규화를 사용하여 도전성과 유량을 동시에 DNN로 근사함으로써, 데이터 노이즈, 네트워크 깊이, 넓이, 샘플링 해상도에 명시적으로 의존하는 엄밀한 오차 경계를 갖는 안정적이고 노이즈에 강건한 재구성을 달성한다.

ABSTRACT

In this work we develop a novel approach using deep neural networks to reconstruct the conductivity distribution in elliptic problems from one measurement of the solution over the whole domain. The approach is based on a mixed reformulation of the governing equation and utilizes the standard least-squares objective, with deep neural networks as ansatz functions to approximate the conductivity and flux simultaneously. We provide a thorough analysis of the deep neural network approximations of the conductivity for both continuous and empirical losses, including rigorous error estimates that are explicit in terms of the noise level, various penalty parameters and neural network architectural parameters (depth, width and parameter bound). We also provide multiple numerical experiments in two- and multi-dimensions to illustrate distinct features of the approach, e.g., excellent stability with respect to data noise and capability of solving high-dimensional problems.

연구 동기 및 목표

• 타원형 PDE에서 해의 단일 내부 측정값으로부터 도전성 분포를 재구성하기 위한 안정적이고 데이터 기반의 방법을 개발한다.
• 딥 뉴럴 네트워크의 표현 능력을 활용하여 고차원 또는 노이즈가 많은 설정에서 전통적인 수치적 방법의 한계를 극복한다.
• 데이터 노이즈 수준, 네트워크 아키텍처(깊이, 넓이, 매개변수 범위), 샘플링 밀도에 명시적으로 의존하는 도전성 재구성에 대한 엄밀한 일반화 오차 경계를 수립한다.
• 혼합 최소제곱 공식과 근사 이론 및 통계적 학습 이론을 융합하여 DNN 기반 역문제에 대한 이론적 기반을 마련한다.

제안 방법

• PDE의 변분 공식을 사용하여 도전성 $ q $ 와 유량 $ \boldsymbol{\rho} = q\nabla u $ 를 포함하는 혼합 최소제곱 최적화 문제로 도전성 영상 재구성 문제를 공식화한다.
• 고차원 및 비선형 해의 다양체를 표현할 수 있도록 DNN을 앙사트 함수로 사용하여 $ q $ 와 $ \boldsymbol{\rho} $ 를 근사한다.
• PDE 위반과 경계 조건 위반을 페널티로 삼는 최소제곱 손실 기능을 정의하며, $ q $ 에 대해 $ H^1(\Omega) $-유형의 페널티를 추가하여 정규성을 강제한다.
• 도메인 $ \Omega $ 와 경계 $ \partial\Omega $ 의 샘플링 점들을 사용하여 적분을 몬테카를로 적분으로 근사함으로써 경험적 손실을 최소화한다.
• 레데마커 복잡도와 커버링 수 이론을 활용하여 $ q $, $ \boldsymbol{\rho} $ 및 관련 양의 DNN 근사에 대한 일반화 오차 경계를 유도한다.
• 데이터 노이즈 $ \delta $, 네트워크 깊이 $ L $, 넓이 $ W $, 매개변수 범위 $ R $, 샘플링 횟수 $ n $ 에 대해 명시적인 이론적 오차 추정치를 수립한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 타원형 PDE에서 해의 단일 전체 도메인 내부 측정값으로부터 도전성 분포를 효과적으로 재구성할 수 있는가?
• RQ2 DNN 기반 재구성의 일반화 오차는 데이터 노이즈, 네트워크 아키텍처(깊이, 넓이, 매개변수 범위), 샘플링 해상도에 대해 어떻게 스케일링되는가?
• RQ3 노이즈가 있는 데이터와 유한한 샘플링 조건 하에서 제안된 혼합 최소제곱 DNN 프레임워크의 이론적 안정성과 수렴 행동은 어떠한가?
• RQ4 통계적 학습 이론과 근사 이론을 통해 유도된 이론적 오차 경계는 수치 실험에서의 경험적 성능과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 2차원 및 다차원 문제에서 수치 실험에서 뚜렷한 노이즈에 강건한 안정적 도전성 재구성을 달성한다.
• 도전성 근사에 대한 이론적 오차 경계는 노이즈 수준 $ \delta $, 네트워크 깊이 $ L $, 넓이 $ W $, 매개변수 범위 $ R $, 샘플링 횟수 $ n $ 에 대해 다항식적으로 의존하며, 네트워크 크기에 대해 로그적 의존성이 포함된다.
• DNN 함수 클래스의 레데마커 복잡도는 $ \mathcal{O}(n^{-1/2} R_{\sigma}^2 N_{\kappa}^2 (N_{\kappa} + N_{\theta})^{1/2} (\log R_{\sigma} + \log N_{\kappa} + \log n)^{1/2}) $ 로 유계이며, 여기서 $ N_{\kappa} $ 와 $ N_{\theta} $ 는 유량 및 도전성 네트워크의 매개변수 수를 나타낸다.
• 유량 및 도전성 근사의 오차 경계는 $ n^{-1/2} $ 스케일링을 보이며, 이는 샘플링 증가에 따라 수렴함을 나타내며, 네트워크 깊이와 넓이는 로그 및 다항식 항을 통해 영향을 미친다.
• DNN의 표현 능력과 $ H^1 $ 정규화를 포함한 혼합 최소제곱 공식이 유도하는 안정성 덕분에 고차원 문제에서 높은 정확도를 달성한다.
• 경험적 결과는 표준 방법보다 노이즈에 대한 내성을 높이고 고차원으로의 확장성도 향상시키며, 샘플링 밀도 증가에 따라 오차가 감소하는 것으로 확인된다.