[論文レビュー] Convergence rates for Penalised Least Squares Estimators in PDE-constrained regression problems

Richard Nickl, Sara van de Geer+1 more|arXiv (Cornell University)|Sep 24, 2018

Numerical methods in inverse problems参考文献 42被引用数 6

ひとこと要約

本稿は、未知の係数関数 $ f $ が2階楕円型偏微分方程式（PDE）に含まれるPDE制約付き非パラメトリック回帰における、Tikhonov型正則化付き最小二乗推定量のミニマックス最適収束速度を確立する。著者らは、$ f $ および解 $ u_f $ の両方の収束速度を導出し、一般な非線形逆問題の枠組みを用いて、連続性関数条件を満たす場合の予測損失における最適性を証明する。

ABSTRACT

We consider PDE constrained nonparametric regression problems in which the parameter $f$ is the unknown coefficient function of a second order elliptic partial differential operator $L_f$, and the unique solution $u_f$ of the boundary value problem \[L_fu=g_1 ext{ on } \mathcal O, \quad u=g_2 ext{ on }\partial \mathcal O,\] is observed corrupted by additive Gaussian white noise. Here $\mathcal O$ is a bounded domain in $\mathbb R^d$ with smooth boundary $\partial \mathcal O$, and $g_1, g_2$ are given functions defined on $\mathcal O, \partial \mathcal O$, respectively. Concrete examples include $L_fu=Δu-2fu$ (Schrödinger equation with attenuation potential $f$) and $L_fu= ext{div} (f abla u)$ (divergence form equation with conductivity $f$). In both cases, the parameter space \[\mathcal F=\{f\in H^α(\mathcal O)| f > 0\}, ~α>0, \] where $H^α(\mathcal O)$ is the usual order $α$ Sobolev space, induces a set of non-linearly constrained regression functions $\{u_f: f \in \mathcal F\}$. We study Tikhonov-type penalised least squares estimators $\hat f$ for $f$. The penalty functionals are of squared Sobolev-norm type and thus $\hat f$ can also be interpreted as a Bayesian `MAP'-estimator corresponding to some Gaussian process prior. We derive rates of convergence of $\hat f$ and of $u_{\hat f}$, to $f, u_f$, respectively. We prove that the rates obtained are minimax-optimal in prediction loss. Our bounds are derived from a general convergence rate result for non-linear inverse problems whose forward map satisfies a modulus of continuity condition, a result of independent interest that is applicable also to linear inverse problems, illustrated in an example with the Radon transform.

研究の動機と目的

• PDE制約付き非パラメトリック回帰問題における罰則付き最小二乗推定量の収束速度を確立すること。
• PDEから生じる非線形逆問題におけるSobolev型罰則を用いたTikhonov型推定量の統計的性能を分析すること。
• 解 $ u_f $ および係数 $ f $ の予測損失において、導出された収束速度のミニマックス最適性を証明すること。
• 連続性関数条件を満たす非線形逆問題に対する一般な収束速度結果を発展させ、PDEモデルに応用可能であることを示すこと。
• 罰則付き最小二乗推定量とガウス過程事前分布下でのベイズ的MAP推定量との関係を確立し、このようなベイズ的手法の頻度主義的最適性を示すこと。

提案手法

• 係数関数 $ f $ を含む2階楕円型PDEの解 $ u_f $ を定める前向き写像 $ f \to u_f $ を非線形逆問題として定式化する。
• 正則化に $ \tilde{f} = \tilde{\theta}^{-1}(f) $ の2乗Sobolevノルム $ \norm{\tilde{f}}_{H^\beta}^2 $ を用い、$ f $ の滑らかさと正値性を保証する。
• 正の係数空間 $ f > 0 $ をヒルベルト空間に写像する変換 $ \tilde{\theta} $ を導入し、標準的な罰則付き最小二乗理論の適用を可能にする。
• 前向き写像 $ \tilde{\theta} \to u_{\tilde{\theta}} $ に対して連続性関数条件を満たす一般な非線形逆問題の収束速度結果を確立し、独立に価値のある結果を得る。
• Dudleyのエントロピー積分とガウス過程の連続性に関する議論を用いて、観測機能 $ F \to \braket{Y^{(\rho)}, \tilde{\theta}(F)} $ の連続性関数を制御する。
• Sobolev埋め込みのコンパクト性と $ L^2 $ における弱収束から強収束への変換を活用し、推定量の連続性と収束性を証明する。

実験結果

リサーチクエスチョン

• RQ1 PDE制約付き非パラメトリック回帰問題における罰則付き最小二乗推定量の最適収束速度は何か？
• RQ2 未知係数関数を伴う楕円型PDEにおけるTikhonov推定量の収束速度が、予測損失においてミニマックス最適であることを示せるか？
• RQ3 前向き写像 $ f \to u_f $ の非線形構造は、正則化推定量の統計的性能にどのように影響を与えるか？
• RQ4 連続性関数条件を満たす非線形逆問題の一般枠組みは、PDEに基づくモデルにどの程度適用可能か？
• RQ5 このPDE制約付き設定における罰則付き最小二乗推定量とベイズ的MAP推定量の関係は何か？

主な発見

• 適切な滑らかさと設計の仮定の下で、推定量 $ \tilde{f} $ のSobolevノルム $ H^\beta $ におけるミニマックス最適収束速度 $ n^{-\beta/(2\beta + d)} $ が確立された。
• 解 $ u_{\tilde{f}} $ の $ L^2 $ ノルムにおける収束速度が、対数的要因を除いてミニマックス最適であり、$ n^{-\beta/(2\beta + d)} $ に一致することが示された。
• 連続性関数条件を満たす非線形逆問題に対する一般収束速度結果が導出され、PDE設定への応用により鋭い境界が得られた。
• Sobolev罰則を用いた罰則付き最小二乗推定量が、ガウス過程事前分布下でのベイズ的MAP推定量と等価であることが示され、このようなベイズ的手法の頻度主義的最適性が確立された。
• 著者らは、Rellich-Kondrashovのコンパクト性定理を用いて、弱収束における $ H^\beta $ での収束性に基づき、推定量 $ \tilde{f} $ が $ L^2 $ ノルムで収束することを証明した。
• 弱収束における $ H^\beta $ に対して、前向き写像 $ f \to u_f $ が $ L^2 $ および $ \bbH $ ノルムで連続であることが確立され、弱コンパクト性の議論が可能になった。