[论文解读] Empirical priors and posterior concentration in a piecewise polynomial sequence model

Chang Liu, Ryan R. Martin+1 more|arXiv (Cornell University)|Dec 11, 2017

Statistical Methods and Inference参考文献 36被引用 9

一句话总结

本文提出了一种经验贝叶斯方法，用于分段多项式序列模型，实现了自适应极小极大后验集中率和一致的结构学习。通过使用以数据驱动估计为中心的共轭经验先验，该方法在信号估计和块分区恢复方面实现了快速计算和优于趋势过滤及其他方法的有限样本性能。

ABSTRACT

Inference on high-dimensional parameters in structured linear models is an important statistical problem. This paper focuses on the case of a piecewise polynomial Gaussian sequence model, and we develop a new empirical Bayes solution that enjoys adaptive minimax posterior concentration rates and improved structure learning properties compared to existing methods. Moreover, thanks to the conjugate form of the empirical prior, posterior computations are fast and easy. Numerical examples also highlight the method's strong finite-sample performance compared to existing methods across a range of different scenarios.

研究动机与目标

• 为解决分段多项式高斯序列模型中缺乏自适应后验集中率与结构恢复的贝叶斯方法的问题。
• 开发一种计算高效的经 验先验，使其能够适应未知的块配置和多项式阶次。
• 在弱于现有方法的条件下，建立后验集中率和结构学习的理论保证。
• 与基于正则化的方法（如趋势过滤）相比，提升在信号估计和变点检测中的有限样本性能。

提出的方法

• 该方法采用以多项式系数数据驱动估计为中心的经验先验，提升了先验的自适应性，避免了固定中心化。
• 使用共轭先验以提高计算效率，通过闭式更新实现快速且精确的后验计算。
• 通过层次化模型构建先验，其中块配置和多项式系数被赋予依赖数据的超先验。
• 利用熵和检验论证的结合分析后验集中率，通过设计矩阵的特征值控制推导出界。
• 通过证明当 $n \to \infty$ 时，后验概率在真实块配置 $B^*$ 上收敛于 1，确立了结构学习的一致性。
• 理论分析利用 $K$ 阶差分算子 $\Delta^K$ 将分段多项式信号表示为稀疏系数形式。

实验结果

研究问题

• RQ1 经验贝叶斯方法是否能在分段多项式序列模型中实现自适应后验集中率？
• RQ2 所提出的方法在高维设置下是否能一致地恢复真实块配置 $B^*$？
• RQ3 在有限样本中，该经验先验的性能与趋势过滤相比如何？
• RQ4 共轭先验能否在非稀疏、结构化的模型（如分段多项式）中有效使用？
• RQ5 此类模型中后验集中率与结构学习所需的条件是什么？

主要发现

• 经验贝叶斯后验实现了自适应极小极大后验集中率，其性能与趋势过滤的最优率仅相差对数因子。
• 后验集中率的成立条件弱于 Guntuboyina 等人（2020）所要求的条件，特别是避免了强稀疏性和最小长度假设。
• 证明了结构学习的一致性：当 $n \to \infty$ 时，真实块配置 $B^*$ 的后验概率收敛于 1。
• 该方法在信号估计和变点检测中表现出优异的有限样本性能，优于趋势过滤在多种模拟场景下的表现。
• 经验先验的共轭形式使得后验计算快速且精确，使该方法在实际应用中具备可扩展性和实用性。
• 理论界依赖于设计矩阵的特征值控制，通过不等式 $\lambda_{\min}(X_S^T X_S) \geq \gamma/4$ 实现，其中 $\gamma$ 为块边界之间的最小间距。