[论文解读] Convergence rates for Penalised Least Squares Estimators in PDE-constrained regression problems

Richard Nickl, Sara van de Geer+1 more|arXiv (Cornell University)|Sep 24, 2018

Numerical methods in inverse problems参考文献 42被引用 6

一句话总结

本文為PDE约束的非参数回归中Tikhonov型惩罚最小二乘估计器建立了极小极大最优收敛速率，其中未知系数函数 $ f $ 出现在二阶椭圆PDE中。作者推导了 $ f $ 和解 $ u_f $ 的收敛速率，并通过适用于非线性逆问题的一般框架，结合连续模条件，证明了预测损失下的最优性。

ABSTRACT

We consider PDE constrained nonparametric regression problems in which the parameter $f$ is the unknown coefficient function of a second order elliptic partial differential operator $L_f$, and the unique solution $u_f$ of the boundary value problem \[L_fu=g_1 ext{ on } \mathcal O, \quad u=g_2 ext{ on }\partial \mathcal O,\] is observed corrupted by additive Gaussian white noise. Here $\mathcal O$ is a bounded domain in $\mathbb R^d$ with smooth boundary $\partial \mathcal O$, and $g_1, g_2$ are given functions defined on $\mathcal O, \partial \mathcal O$, respectively. Concrete examples include $L_fu=Δu-2fu$ (Schrödinger equation with attenuation potential $f$) and $L_fu= ext{div} (f abla u)$ (divergence form equation with conductivity $f$). In both cases, the parameter space \[\mathcal F=\{f\in H^α(\mathcal O)| f > 0\}, ~α>0, \] where $H^α(\mathcal O)$ is the usual order $α$ Sobolev space, induces a set of non-linearly constrained regression functions $\{u_f: f \in \mathcal F\}$. We study Tikhonov-type penalised least squares estimators $\hat f$ for $f$. The penalty functionals are of squared Sobolev-norm type and thus $\hat f$ can also be interpreted as a Bayesian `MAP'-estimator corresponding to some Gaussian process prior. We derive rates of convergence of $\hat f$ and of $u_{\hat f}$, to $f, u_f$, respectively. We prove that the rates obtained are minimax-optimal in prediction loss. Our bounds are derived from a general convergence rate result for non-linear inverse problems whose forward map satisfies a modulus of continuity condition, a result of independent interest that is applicable also to linear inverse problems, illustrated in an example with the Radon transform.

研究动机与目标

• 建立PDE约束的二阶椭圆PDE非参数回归问题中惩罚最小二乘估计器的收敛速率。
• 分析Tikhonov型估计器在Sobolev型惩罚下，于PDE所引发的非线性逆问题中的统计性能。
• 证明所推导的收敛速率在解 $ u_f $ 和系数 $ f $ 的预测损失下为极小极大最优。
• 为满足连续模条件的非线性逆问题建立一般收敛速率结果，该结果可推广至PDE以外的场景。
• 将惩罚最小二乘估计器与高斯过程先验下的贝叶斯MAP估计建立联系，确立此类贝叶斯程序的频数推断最优性。

提出的方法

• 将PDE约束的回归问题表述为非线性逆问题，其中前向映射 $ f \to u_f $ 求解以 $ f $ 为系数的椭圆PDE。
• 采用Tikhonov正则化，结合平方Sobolev半诺姆惩罚 $ \norm{\tilde{f}}_{H^\beta}^2 $，其中 $ \tilde{f} = \tilde{\theta}^{-1}(f) $，以保证 $ f $ 的光滑性与正性。
• 应用变换 $ \tilde{\theta} $ 将正系数空间 $ f > 0 $ 映射至Hilbert空间，从而可应用标准惩罚最小二乘理论。
• 基于前向映射 $ \tilde{\theta} \to u_{\tilde{\theta}} $ 的连续模条件，建立适用于非线性逆问题的一般收敛速率结果，该结果本身具有独立兴趣。
• 利用Dudley熵积分和高斯过程连续性论证，控制观测泛函 $ F \to \braket{Y^{(\rho)}, \tilde{\theta}(F)} $ 的连续模。
• 利用Sobolev嵌入的紧致性及 $ L^2 $ 中弱收敛到强收敛的性质，证明估计器的连续性与收敛性。

实验结果

研究问题

• RQ1 在PDE约束的非参数回归问题中，惩罚最小二乘估计器的最优收敛速率是什么？
• RQ2 能否证明Tikhonov估计器在椭圆PDE中未知系数函数下的预测损失收敛速率达到极小极大最优？
• RQ3 前向映射 $ f \to u_f $ 的非线性结构如何影响正则化估计器的统计性能？
• RQ4 满足连续模条件的一般非线性逆问题框架在PDE模型中的适用程度如何？
• RQ5 在此PDE约束设定下，惩罚最小二乘估计器与贝叶斯MAP估计器之间存在何种关系？

主要发现

• 本文在适当的光滑性与设计假设下，建立了估计器 $ \tilde{f} $ 在Sobolev范数 $ H^\beta $ 下的极小极大最优收敛速率，速率为 $ n^{-\beta/(2\beta + d)} $。
• 解 $ u_{\tilde{f}} $ 在 $ L^2 $-范数下的收敛速率被证明为极小极大最优，与速率 $ n^{-\beta/(2\beta + d)} $ 一致，仅相差对数因子。
• 推导并应用了满足连续模条件的非线性逆问题的一般收敛速率结果，成功获得紧致界。
• 证明了带有Sobolev惩罚的惩罚最小二乘估计器等价于高斯过程先验下的贝叶斯MAP估计器，从而确立了此类贝叶斯程序的频数推断最优性。
• 作者证明了在 $ H^\beta $ 中弱收敛下，估计器 $ \tilde{f} $ 在 $ L^2 $-范数下收敛，其依据为Rellich-Kondrashov紧致性定理。
• 在 $ H^\beta $ 中弱收敛下，建立了前向映射 $ f \to u_f $ 在 $ L^2 $ 和 $ \bbH $-范数下的连续性，从而支持弱紧致性论证的使用。