[论文解读] Asymptotically optimal empirical Bayes inference in a piecewise constant sequence model

Ryan Martin, Weining Shen|arXiv (Cornell University)|Dec 11, 2017

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文提出了一种经验贝叶斯方法，用于分段常数高斯序列模型，实现了渐近最优的后验集中率。通过使用共轭经验先验，该方法实现了计算高效的后验推断，并具备自适应极小极大估计能力。

ABSTRACT

Inference on high-dimensional parameters in structured linear models is an important statistical problem. In this paper, for the piecewise constant Gaussian sequence model, we develop a new empirical Bayes solution that enjoys adaptive minimax posterior concentration rates and, thanks to the conjugate form of the empirical prior, relatively simple posterior computations.

研究动机与目标

• 解决线性模型中高维结构化参数推断的挑战。
• 为分段常数高斯序列模型开发一种极小极大最优的经验贝叶斯程序。
• 确保在不同平滑度水平下自适应的后验集中率。
• 通过共轭先验构造，实现计算上可行的后验推断。

提出的方法

• 该方法基于数据驱动的调参构建经验先验，以反映分段常数结构。
• 采用共轭先验框架，确保解析可处理性并实现高效的后验计算。
• 经验贝叶斯程序通过从数据中选择调参，自适应于未知的平滑度。
• 利用非渐近集中不等式和经验过程工具推导后验集中率。
• 通过在分段常数区间间平衡偏差与方差，实现极小极大率。
• 该方法被证明可自适应于序列中未知的变点数量和位置。

实验结果

研究问题

• RQ1 经验贝叶斯方法是否能在分段常数序列模型中实现极小极大后验集中率？
• RQ2 在未知变点数量和位置的情况下，如何实现自适应估计？
• RQ3 在高维结构化模型中，实现最优后验集中率的计算可行性如何？
• RQ4 共轭先验能否在经验贝叶斯框架中有效使用，以平衡最优性与可计算性？

主要发现

• 所提出的经验贝叶斯方法在所有平滑度水平下均实现了渐近最优的后验集中率。
• 该方法可自适应于未知的结构特征，如变点的数量和位置。
• 由于经验先验的共轭形式，后验计算保持高效。
• 该方法在无需事先知晓底层分段常数结构的情况下，达到了极小极大率。
• 理论分析证实，后验以最优速率收缩，与极小极大下界一致。
• 该方法在调参选择上对模型误设表现出鲁棒性。