[论文解读] Bayes procedures for adaptive inference in inverse problems for the white noise model

B. T. Knapik, Botond Szabó+2 more|arXiv (Cornell University)|Sep 17, 2012

Statistical Methods and Inference参考文献 31被引用 10

一句话总结

该论文证明，在白噪声模型下，经验贝叶斯与层次贝叶斯方法在未知参数光滑度的情况下，能够自适应地达到最优收敛速率，适用于轻微不适定的逆问题。通过使用一类由超参数索引的先验分布，两种方法均可自动选择正则化超参数，从而在Sobolev光滑类与解析光滑类下实现极小极大最优速率。

ABSTRACT

We study empirical and hierarchical Bayes approaches to the problem of estimating an infinite-dimensional parameter in mildly ill-posed inverse problems. We consider a class of prior distributions indexed by a hyperparameter that quantifies regularity. We prove that both methods we consider succeed in automatically selecting this parameter optimally, resulting in optimal convergence rates for truths with Sobolev or analytic "smoothness", without using knowledge about this regularity. Both methods are illustrated by simulation examples.

研究动机与目标

• 解决在真实参数光滑度未知的非参数逆问题中实现自适应、速率最优推断的挑战。
• 研究经验贝叶斯与层次贝叶斯方法是否能自动选择最优正则化超参数。
• 证明两种方法在真实参数具有Sobolev或解析光滑性时，均能达到极小极大最优收敛速率，且无需已知真实正则性。
• 为经验贝叶斯与层次贝叶斯在逆问题中的应用提供理论依据，填补其自适应性质研究的文献空白。

提出的方法

• 采用标准白噪声模型：$ Y_i = \kappa_i \mu_i + \frac{1}{\sqrt{n}} Z_i $，其中 $ \kappa_i \sim i^{-p} $，用于建模轻微不适定的逆问题。
• 使用一类由超参数控制先验分布正则性的高斯先验族。
• 应用经验贝叶斯方法，通过数据的边际似然估计超参数。
• 使用层次贝叶斯方法，对超参数赋予先验并积分以获得边际后验。
• 利用Sobolev与解析光滑类分析收敛速率，证明两种方法均达到极小极大下界。
• 采用奇异值分解将逆问题转化为正态均值模型，从而可应用高维统计中的标准工具。

实验结果

研究问题

• RQ1 经验贝叶斯方法能否自动选择正则化超参数，从而在逆问题中实现最优收敛速率？
• RQ2 层次贝叶斯方法是否能在未知真实参数光滑度的情况下，实现自适应、速率最优的推断？
• RQ3 在白噪声模型下，经验贝叶斯与层次贝叶斯在轻微不适定逆问题中的理论收敛速率是什么？
• RQ4 与固定先验的贝叶斯方法相比，这些方法在自适应性与先验不匹配的鲁棒性方面表现如何？
• RQ5 在无需调参的情况下，能否通过经验贝叶斯与层次贝叶斯方法实现Sobolev与解析光滑类的极小极大最优速率？

主要发现

• 经验贝叶斯方法在Sobolev光滑真实参数下，实现了极小极大最优收敛速率 $ n^{-\beta/(1+2\beta+2p)} $，且无需知道 $ \beta $。
• 层次贝叶斯方法在Sobolev光滑参数下也实现了相同的极小极大最优速率，证明了其自适应推断能力。
• 对于解析光滑类，两种方法均实现了极小极大速率 $ n^{-1/2} \log^{1/2+p} n $，且无需事先了解光滑度。
• 理论分析证实，两种方法均能自动选择与真实正则性匹配的超参数，避免了因先验不匹配导致的次优速率。
• 收敛速率结果通过控制涉及 $ i^r + n $ 的和式推导得出，利用积分与级数估计方法，精确控制对数与幂次项。
• 本文证明，通过经验贝叶斯或层次贝叶斯选择超参数，即使真实光滑度未知，后验仍能在极小极大速率下集中。