[论文解读] Adaptive Bayesian Estimation via Block Prior

Chao Gao, Harrison H. Zhou|arXiv (Cornell University)|Dec 13, 2013

Blind Source Separation Techniques参考文献 2被引用 5

一句话总结

本文提出一种用于自适应贝叶斯估计的块先验，该先验可自动聚焦于真实信号的有效维数，而无需事先知晓平滑度或样本量。该方法在多种非参数模型中实现了最优后验收缩率，包括密度估计和高斯回归。

ABSTRACT

A novel block prior is proposed for adaptive Bayesian estimation. The prior does not depend on the smoothness of the function and the sample size. It puts sufficient prior mass near the true signal and automatically concentrates on its effective dimension. A rate-optimal posterior contraction is obtained in a general framework, which includes density estimation, white noise model, Gaussian sequence model, Gaussian regression and spectral density estimation.

研究动机与目标

• 开发一种可自适应未知平滑度和样本量的先验，用于贝叶斯非参数估计。
• 确保在高维函数空间中，足够的先验质量集中于真实信号附近。
• 在涵盖多种统计模型的一般框架中，实现最优后验收缩率。
• 消除后验推断中对依赖于平滑度或样本量的调参需求。

提出的方法

• 提出一种新颖的块先验，根据信号结构将参数空间划分为若干块。
• 设计先验，使其自适应地将质量分配给对应于真实信号有效维数的块。
• 采用分层先验结构，以促进相关函数分量的稀疏性。
• 建立理论条件，确保在各类模型中后验以极小化最大风险的速率收缩。
• 将该框架应用于多种模型：密度估计、高斯白噪声、高斯序列、回归以及谱密度估计。
• 通过集中性质证明，该先验可自动适应未知的平滑度和样本量。

实验结果

研究问题

• RQ1 能否构造一种先验，使其在无需显式调参的情况下自适应未知平滑度和样本量？
• RQ2 该块先验是否在非参数模型中实现最优后验收缩率？
• RQ3 该先验如何聚焦于真实信号的有效维数？
• RQ4 该框架能否在密度估计和回归等多样化模型中统一应用？
• RQ5 何种理论保证可确保在不假设平滑度的前提下实现后验集中？

主要发现

• 该块先验在一般非参数框架中实现了最优后验收缩率。
• 该先验无需已知平滑度信息，即可自动聚焦于真实信号的有效维数。
• 后验收缩率在所有考虑的模型中均达到极小化最大风险的最优速率。
• 该方法无需基于样本量或平滑度参数进行调参。
• 该框架可统一应用于密度估计、白噪声、高斯序列、回归以及谱密度估计。
• 理论分析证实，在一般条件下，足够多的先验质量被集中于真实信号附近。