[论文解读] A Theoretical Framework for Bayesian Nonparametric Regression: Orthonormal Random Series and Rates of Contraction
本文提出了一种基于正交随机级数的贝叶斯非参数回归框架，无需假设函数空间的均匀有界性，即可推导出在积分 $L_2$-距离下的收缩率。该研究建立了一个通用定理，可对解析函数上的平方指数高斯过程实现近乎参数化的收缩率，对筛子先验实现自适应收缩率，对 Hölder 光滑函数上的未修改块先验实现自适应且精确的收缩率。
We develop a unifying framework for Bayesian nonparametric regression to study the rates of contraction with respect to the integrated $L_2$-distance without assuming the regression function space to be uniformly bounded. The framework is built upon orthonormal random series in a flexible manner. A general theorem for deriving rates of contraction for Bayesian nonparametric regression is provided under the proposed framework. As specific applications, we obtain the near-parametric rate of contraction for the squared-exponential Gaussian process when the true function is analytic, the adaptive rates of contraction for the sieve prior, and the adaptive-and-exact rates of contraction for the un-modified block prior when the true function is {\alpha}-smooth. Extensions to wavelet series priors and fixed-design regression problems are also discussed.
研究动机与目标
- 开发一个统一的理论框架，用于贝叶斯非参数回归，避免对函数空间均匀有界的限制性假设。
- 建立在积分 $L_2$-距离下可推导后验收缩率的一般条件。
- 将该框架应用于特定先验（如高斯过程、筛子先验和块先验），推导出精确的收缩率。
- 将该框架扩展至小波级数先验和固定设计回归设置。
- 在最小正则性假设下，为光滑函数实现自适应且精确的收缩率。
提出的方法
- 该框架基于正交随机级数展开，允许对回归函数进行灵活表示。
- 推导出一个通用定理，以 $L_2$-距离衡量后验集中在真实函数附近的程度。
- 通过利用正交基的结构和级数系数的尾部概率界，避免了对一致有界的依赖。
- 通过度量熵和检验方法分析收缩率，并将其适配至正交级数设置。
- 通过刻画相应系数先验及其熵性质，将该框架应用于特定先验。
- 通过适配正交基和与设计相关的度量熵界，将该框架扩展至小波级数和固定设计模型。
实验结果
研究问题
- RQ1在不假设函数空间有界的情况下，贝叶斯非参数回归的后验收缩率在何种条件下可被推导？
- RQ2正交随机级数表示如何在缺乏一致有界性的情况下实现精确的收缩率推导？
- RQ3当真实函数为解析函数时，平方指数高斯过程的收缩率是多少？
- RQ4该框架能否在光滑性假设下，对筛子先验实现自适应率，对块先验实现精确率？
- RQ5该框架如何扩展至小波级数先验和固定设计回归问题？
主要发现
- 当真实函数为解析函数时，该框架在积分 $L_2$-距离下对平方指数高斯过程实现了近乎参数化的收缩率。
- 对筛子先验建立了自适应收缩率，其速率与最优速率仅相差对数因子。
- 未修改的块先验在真实函数为 $\alpha$-光滑时，无需调参即可实现自适应且精确的收缩率。
- 该方法可扩展至小波级数先验，使其在该设置下也能实现类似的收缩率分析。
- 该框架适用于固定设计回归，为该情境下的收缩率分析提供了一般性方法。
- 通用定理为在各类非参数先验中推导收缩率提供了一个统一工具，且无需有界性假设。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。