[论文解读] Bayesian inverse problems

B. T. Knapik, van der Aw Aad Vaart+1 more|arXiv (Cornell University)|Mar 14, 2011

Gaussian Processes and Bayesian Inference被引用 1

一句话总结

本文研究了非参数逆问题中贝叶斯可信集的频率学覆盖性质，表明覆盖性能在很大程度上取决于先验和平滑度以及真实参数的平滑度。研究证明，当先验的平滑度和尺度与真实参数的平滑度适配得当时，可实现最优后验收缩速率，且可信集在此类正确组合下可达到极小极大速率。

ABSTRACT

The posterior distribution in a nonparametric inverse problem is shown to contract to the true parameter at a rate that depends on the smoothness of the parameter, and the smoothness and scale of the prior. Correct combinations of these characteristics lead to the minimax rate. The frequentist coverage of credible sets is shown to depend on the combination of prior and true parameter, with smoother priors leading to zero coverage and rougher priors to conservative coverage. In the latter case credible sets are of the correct order of magnitude. The results are numerically illustrated by the problem of recovering a function from observation of a noisy version of its primitive.

研究动机与目标

• 分析非参数逆问题中贝叶斯可信集的频率学覆盖性质。
• 确定先验的平滑度与尺度如何影响后验收缩速率。
• 识别可信集实现极小极大频率学覆盖与正确大小的条件。
• 通过从其积分的噪声观测中恢复函数的问题，对理论结果进行数值说明。

提出的方法

• 采用非参数贝叶斯方法研究逆问题中的后验收缩速率。
• 作者推导了后验分布以极小极大速率收敛至真实参数的条件。
• 通过分析先验平滑度与真实参数平滑度之间的相互作用，研究可信集的频率学覆盖性能。
• 该方法涉及构建具有特定平滑度和尺度参数的先验，并从收缩与覆盖性能角度评估其表现。
• 通过在从函数积分的噪声观测中恢复函数的逆问题上的数值模拟，验证了理论结果。
• 关键工具包括高斯过程先验和后验分布的集中不等式。

实验结果

研究问题

• RQ1 在何种先验与真实参数条件下，非参数逆问题中的后验能以极小极大速率收缩？
• RQ2 先验的平滑度如何影响贝叶斯可信集的频率学覆盖性能？
• RQ3 当先验比真实参数更粗糙时，可信集能否实现保守覆盖并保持正确的数量级？
• RQ4 在逆问题中，先验尺度与后验收缩速率之间存在何种关系？
• RQ5 针对原函数恢复问题的数值结果如何体现理论发现？

主要发现

• 当先验的平滑度与尺度与真实参数的平滑度适配得当时，后验收缩速率可达到极小极大速率。
• 当先验比真实参数更平滑时，可信集的频率学覆盖为零，表明存在过度自信。
• 当先验比真实参数更粗糙时，可信集表现出保守覆盖，且其大小处于正确的数量级。
• 理论结果在从函数积分的噪声观测中恢复函数的问题上通过数值模拟得到验证。
• 先验平滑度与尺度的组合对后验集中程度与频率学覆盖性能具有决定性影响。
• 本研究确立了在贝叶斯逆问题中实现最优性能的关键在于根据真实参数的平滑度仔细校准先验超参数。