[论文解读] Adaptive dimension reduction with a Gaussian process prior

Anirban Bhattacharya, Debdeep Pati+1 more|arXiv (Cornell University)|Nov 4, 2011

Statistical Methods and Inference被引用 8

一句话总结

本文提出一种贝叶斯非参数回归方法，采用具有维度特异性缩放和层次超先验的高斯过程先验，以自适应地估计各向异性的多变量曲面。通过自动检测重要预测变量并调整平滑度，该方法在高斯过程先验下实现了近乎极小极大最优的后验收缩率（对数因子以内），优于仅使用单一带宽的同质高斯过程。

ABSTRACT

In nonparametric regression problems involving multiple predictors, there is typically interest in estimating an anisotropic multivariate regression surface in the important predictors while discarding the unimportant ones. Our focus is on defining a Bayesian procedure that leads to the minimax optimal rate of posterior contraction (up to a log factor) adapting to the unknown dimension and anisotropic smoothness of the true surface. We propose such an approach based on a Gaussian process prior with dimension-specific scalings, which are assigned carefully-chosen hyperpriors. We additionally show that using a homogenous Gaussian process with a single bandwidth leads to a sub-optimal rate in anisotropic cases.

研究动机与目标

• 开发一种贝叶斯程序，以适应多元非参数回归中未知维度和各向异性平滑度的特性。
• 在预测变量间平滑度异质性较高的高维回归中，实现极小极大最优的后验收缩率。
• 解决仅使用单一带宽的同质高斯过程的局限性，此类方法在各向异性设置下会产生次优率。
• 设计一种具有维度特异性缩放和超先验的先验结构，以实现重要预测变量的自动检测和平滑度的自适应调整。

提出的方法

• 构建一个高斯过程先验，为每个预测变量维度分配独立的缩放参数，以捕捉各向异性平滑度。
• 为维度特异性缩放参数分配超先验，以实现无需事先知晓真实维度或平滑度的自动适应。
• 该方法采用分层先验结构，促使不重要预测变量的系数向零收缩，同时保留重要预测变量的平滑性。
• 利用经验过程理论和高斯过程后验集中理论的理论工具，分析后验收缩率。
• 将该方法与仅使用单一全局带宽的同质高斯过程进行对比，结果表明后者在各向异性情况下会产生次优率。

实验结果

研究问题

• RQ1 贝叶斯非参数方法是否能在未知维度和各向异性平滑度的非参数回归中实现极小极大最优的后验收缩率？
• RQ2 在各向异性设置下，使用单一带宽的同质高斯过程与采用维度特异性缩放的方法相比，性能如何？
• RQ3 何种先验结构能够实现对重要预测变量的自动检测，并适应各维度间异质的平滑度？
• RQ4 与标准先验相比，维度特异性缩放和层次超先验在多大程度上改善了后验集中效果？

主要发现

• 所提出的方法即使在真实回归曲面具有未知维度和各向异性平滑度的情况下，仍能实现近乎极小极大最优的后验收缩率（对数因子以内）。
• 在各向异性场景下，使用单一带宽的同质高斯过程会导致次优的后验收缩率。
• 具有层次超先验的维度特异性缩放结构能够实现对相关预测变量的自动检测，并适应不同平滑度水平。
• 理论分析证实，该方法可在无需调参的情况下自适应未知平滑度和维度。