[논문 리뷰] Convergence rates for Penalised Least Squares Estimators in PDE-constrained regression problems

Richard Nickl, Sara van de Geer외 1명|arXiv (Cornell University)|2018. 09. 24.

Numerical methods in inverse problems참고 문헌 42인용 수 6

한 줄 요약

이 논문은 두 번째 순서 타원 PDE에 계수 함수 $ f $ 가 포함된 PDE 제약이 있는 비모수 회귀에서 티호노프 유형의 정규화된 최소 제곱 추정기의 최소최대 최적 수렴 속도를 확립한다. 저자들은 $ f $ 와 해 $ u_f $ 의 수렴 속도를 유도하며, 모듈러스 연속 조건을 만족하는 비선형 역문제의 일반 프레임워크를 사용하여 예측 손실에서 최적성의 증명을 한다.

ABSTRACT

We consider PDE constrained nonparametric regression problems in which the parameter $f$ is the unknown coefficient function of a second order elliptic partial differential operator $L_f$, and the unique solution $u_f$ of the boundary value problem \[L_fu=g_1 ext{ on } \mathcal O, \quad u=g_2 ext{ on }\partial \mathcal O,\] is observed corrupted by additive Gaussian white noise. Here $\mathcal O$ is a bounded domain in $\mathbb R^d$ with smooth boundary $\partial \mathcal O$, and $g_1, g_2$ are given functions defined on $\mathcal O, \partial \mathcal O$, respectively. Concrete examples include $L_fu=Δu-2fu$ (Schrödinger equation with attenuation potential $f$) and $L_fu= ext{div} (f abla u)$ (divergence form equation with conductivity $f$). In both cases, the parameter space \[\mathcal F=\{f\in H^α(\mathcal O)| f > 0\}, ~α>0, \] where $H^α(\mathcal O)$ is the usual order $α$ Sobolev space, induces a set of non-linearly constrained regression functions $\{u_f: f \in \mathcal F\}$. We study Tikhonov-type penalised least squares estimators $\hat f$ for $f$. The penalty functionals are of squared Sobolev-norm type and thus $\hat f$ can also be interpreted as a Bayesian `MAP'-estimator corresponding to some Gaussian process prior. We derive rates of convergence of $\hat f$ and of $u_{\hat f}$, to $f, u_f$, respectively. We prove that the rates obtained are minimax-optimal in prediction loss. Our bounds are derived from a general convergence rate result for non-linear inverse problems whose forward map satisfies a modulus of continuity condition, a result of independent interest that is applicable also to linear inverse problems, illustrated in an example with the Radon transform.

연구 동기 및 목표

• PDE 제약이 있는 비모수 회귀 문제에서 정규화된 최소 제곱 추정기의 수렴 속도를 확립하는 것.
• PDE에서 유래하는 비선형 역문제에 대해 소볼레프 유형 정규화를 적용한 티호노프 유형 추정기의 통계적 성능을 분석하는 것.
• 해 $ u_f $ 와 계수 $ f $ 의 예측 손실에서 유도된 수렴 속도의 최소최대 최적성 증명.
• 비선형 역문제에 대해 모듈러스 연속 조건을 만족하는 일반적인 수렴 속도 결과를 개발하여 PDE 모델 이외의 분야에도 적용 가능하도록 하는 것.
• 정규화된 최소 제곱 추정기와 가우시안 프로세스 사전분포 하에서 베이지안 MAP 추정기 간의 관계를 규명하여 이러한 베이지안 절차의 빈도주의 최적성 확보.

제안 방법

• PDE 제약이 있는 회귀 문제를 비선형 역문제로 재구성하여, 전방 맵 $ f \to u_f $ 가 $ f $ 를 계수로 하는 타원 PDE 를 만족하도록 한다.
• 제곱 소볼레프 노름 정규화 $ \norm{\tilde{f}}_{H^\beta}^2 $ 를 사용한 티호노프 정규화를 적용하여 $ f $ 의 매끄러움과 양수성을 보장한다. 여기서 $ \tilde{f} = \tilde{\theta}^{-1}(f) $ 이다.
• 양수 계수 공간 $ f > 0 $ 을 힐버트 공간으로 매핑하기 위해 변환 $ \tilde{\theta} $ 를 도입하여 표준 정규화된 최소 제곱 이론의 적용을 가능하게 한다.
• 전방 맵 $ \tilde{\theta} \to u_{\tilde{\theta}} $ 에 대해 모듈러스 연속 조건을 사용한 비선형 역문제에 대한 일반적인 수렴 속도 결과를 유도하며, 이는 독립적인 관심사가 있다.
• 드듈의 엔트로피 적분과 가우시안 프로세스 연속성 추론을 사용하여 관측 기능 $ F \to \braket{Y^{(\rho)}, \tilde{\theta}(F)} $ 의 모듈러스 연속성을 제어한다.
• 소볼레프 임bedding의 컴팩턴스와 $ L^2 $ 에서의 약한 수렴에서 강한 수렴으로의 전환을 활용하여 추정기의 연속성과 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 PDE 제약이 있는 비모수 회귀 문제에서 정규화된 최소 제곱 추정기의 최적 수렴 속도는 무엇인가?
• RQ2 알 수 없는 계수 함수를 가진 타원 PDE에 대해 티호노프 추정기의 수렴 속도가 예측 손실에서 최소최대 최적임을 입증할 수 있는가?
• RQ3 전방 맵 $ f \to u_f $ 의 비선형적 구조는 정규화된 추정기의 통계적 성능에 어떤 영향을 미치는가?
• RQ4 비선형 역문제에 대해 모듈러스 연속 조건을 만족하는 일반적 프레임워크는 PDE 기반 모델에 얼마나 널리 적용 가능한가?
• RQ5 이 PDE 제약이 있는 설정에서 정규화된 최소 제곱 추정기와 베이지안 MAP 추정기 간의 관계는 무엇인가?

주요 결과

• 적절한 매끄러움과 설계 조건 하에서, 추정기 $ \tilde{f} $ 의 소볼레프 노름 $ H^\beta $ 에서의 최소최대 최적 수렴 속도가 $ n^{-\beta/(2\beta + d)} $ 임을 입증한다.
• 해 $ u_{\tilde{f}} $ 의 $ L^2 $-노름에서의 수렴 속도가 최소최대 최적임을 증명하며, 로그 인자 외에는 속도 $ n^{-\beta/(2\beta + d)} $ 와 일치한다.
• 비선형 역문제에 대해 모듈러스 연속 조건을 만족하는 일반적인 수렴 속도 결과를 도출하고, 이를 PDE 설정에 적용하여 날카운 경계를 확보한다.
• 소볼레프 정규화를 적용한 정규화된 최소 제곱 추정기는 가우시안 프로세스 사전분포 하에서 베이지안 MAP 추정기와 동치임을 보이며, 이러한 베이지안 절차의 빈도주의 최적성 결과를 확보한다.
• 저자들은 추정기 $ \tilde{f} $ 가 $ H^\beta $ 에서의 약한 수렴 하에서 $ L^2 $-노름에서 수렴함을 증명하며, Rellich-Kondrashov 컴팩턴스 정리를 활용한다.
• 약한 수렴 하에서 $ H^\beta $ 에서의 약한 수렴 조건 하에서 전방 맵 $ f \to u_f $ 가 $ L^2 $ 와 $ \bbH $-노름에서 연속임을 증명하여, 약한 컴팩턴스 추론을 가능하게 한다.