[论文解读] Dimension adaptability of Gaussian process models with variable selection and projection

Surya T. Tokdar|arXiv (Cornell University)|Dec 4, 2011

Gaussian Processes and Bayesian Inference参考文献 33被引用 10

一句话总结

该论文证明，通过缩放、变量选择和线性投影的高斯过程模型，可在非参数回归、分类、密度估计和密度回归中实现最优后验收敛速率——对数因子以内——。关键贡献在于，此类模型能自适应地识别并投影到输入空间的真实低维子空间，而无需先验知识，从而匹配真实函数固有维度的最优速率。

ABSTRACT

It is now known that an extended Gaussian process model equipped with rescaling can adapt to different smoothness levels of a function valued parameter in many nonparametric Bayesian analyses, offering a posterior convergence rate that is optimal (up to logarithmic factors) for the smoothness class the true function belongs to. This optimal rate also depends on the dimension of the function's domain and one could potentially obtain a faster rate of convergence by casting the analysis in a lower dimensional subspace that does not amount to any loss of information about the true function. In general such a subspace is not known a priori but can be explored by equipping the model with variable selection or linear projection. We demonstrate that for nonparametric regression, classification, density estimation and density regression, a rescaled Gaussian process model equipped with variable selection or linear projection offers a posterior convergence rate that is optimal (up to logarithmic factors) for the lowest dimension in which the analysis could be cast without any loss of information about the true function. Theoretical exploration of such dimension reduction features appears novel for Bayesian nonparametric models with or without Gaussian processes.

研究动机与目标

• 研究具有变量选择或线性投影的高斯过程模型是否能通过利用数据的真实低维结构，实现更快的后验收敛速率。
• 为贝叶斯非参数模型的维度自适应性提供理论保证，超越后验一致性。
• 将已知的缩放高斯过程的最优收敛速率扩展到真实函数仅依赖于输入变量子集或投影的场景。
• 证明此类模型在非参数回归、分类、密度估计和密度回归中，当通过选择或投影降低有效维度时，可实现近乎极小极大最优的收敛速率。

提出的方法

• 模型采用带随机缩放参数的缩放平方指数高斯过程先验，以实现对未知光滑度水平的自适应。
• 通过允许GP先验仅作用于输入坐标的子集来整合变量选择，其中选择由二值指示向量建模。
• 通过在输入空间应用正交变换实现线性投影，将维度降低至真实函数所在的固有子空间。
• 理论分析依赖于构造筛子和检验集，以验证van der Vaart与van Zanten（2009）提出的后验集中条件（5）–（7），并将其适配至投影或选择后的空间。
• 证明技术通过将低维结构嵌入先验与后验集中分析，扩展了van der Vaart与van Zanten（2009）的结果。
• 收敛度量通过条件密度上的Hellinge型距离定义，其中测度 $ G_x $ 用作技术工具，将条件映射至后验集中。

实验结果

研究问题

• RQ1 当真实函数仅依赖于 $ d_1 \leq d $ 个输入坐标时，具有变量选择的缩放高斯过程模型能否实现最优后验收敛速率 $ n^{-\alpha/(2\alpha + d_1)}(\log n)^k $？
• RQ2 当真实函数仅依赖于输入的秩-$ d_0 $ 线性投影时，基于线性投影的GP模型是否能实现最优速率 $ n^{-\alpha/(2\alpha + d_0)}(\log n)^k $？
• RQ3 在后验一致性之外，通过变量选择或投影实现维度缩减是否在后验收敛速度方面具有理论优势？
• RQ4 当输入被投影到低维子空间时，后验集中速率在密度回归中如何表现？

主要发现

• 具有变量选择的GP模型的后验收敛速率与真实固有维度 $ d_1 $ 的最优速率 $ n^{-\alpha/(2\alpha + d_1)}(\log n)^k $ 一致，即使 $ d_1 $ 事先未知。
• 对于线性投影，当真实函数依赖于输入的 $ d_0 $-维线性投影时，模型实现了最优速率 $ n^{-\alpha/(2\alpha + d_0)}(\log n)^k $，其中 $ d_0 $ 为满足条件的最小维度。
• 理论框架证实，此类维度自适应性可使收敛速度显著快于高维输入空间中的标准GP模型，即使事先不知真实子空间。
• 结果在多种模型中均成立：非参数回归、分类、密度估计和密度回归，展现出广泛适用性。
• 使用 $ G_x $-加权Hellinge度量作为技术工具，保持了回归目标的可解释性，且在绝对连续性条件下，$ G_x $-度量中的收敛性可推出 $ G^*_x $-度量中的收敛性。
• 本文证明，收敛速率中的对数因子无法通过维度缩减改进，但当 $ d_0 \ll d $ 时，主导项 $ n^{-\alpha/(2\alpha + d_0)} $ 显著快于全维速率。