[论文解读] Latent space projection predictive inference

Alejandro Catalina, Paul‐Christian Bürkner+1 more|arXiv (Cornell University)|Sep 10, 2021

Gaussian Processes and Bayesian Inference参考文献 37被引用 6

一句话总结

本文提出了一种潜在空间投影预测推断方法，可在贝叶斯模型中实现稳定、高效的变量选择与结构选择，适用于指数族以外的模型，如有序模型、计数模型和生存模型。通过将参考模型的后部分布投影到潜在预测变量空间，该方法在保持原始模型结构和预测不确定性的同时，显著优于现有方法，在变量选择准确性和计算速度方面表现更优，尤其在非高斯分布及复杂层次模型中优势明显。

ABSTRACT

Given a reference model that includes all the available variables, projection predictive inference replaces its posterior with a constrained projection including only a subset of all variables. We extend projection predictive inference to enable computationally efficient variable and structure selection in models outside the exponential family. By adopting a latent space projection predictive perspective we are able to: 1) propose a unified and general framework to do variable selection in complex models while fully honouring the original model structure, 2) properly identify relevant structure and retain posterior uncertainties from the original model, and 3) provide an improved approach also for non-Gaussian models in the exponential family. We demonstrate the superior performance of our approach by thoroughly testing and comparing it against popular variable selection approaches in a wide range of settings, including realistic data sets. Our results show that our approach successfully recovers relevant terms and model structure in complex models, selecting less variables than competing approaches for realistic datasets.

研究动机与目标

• 解决指数族以外模型（如有序、计数和生存模型）中缺乏稳健的变量与结构选择方法的问题。
• 克服现有投影预测推断方法的局限性，后者依赖于指数族假设，在非高斯设置下常出现收敛困难或结果不稳定的问题。
• 开发一个统一框架，在变量选择过程中保持原始模型的结构和后验不确定性。
• 提升非高斯指数族模型（如伯努利、泊松分布）中的性能，这些模型中标准投影方法常因收敛和不稳定性问题而表现不佳。
• 提供一种计算高效、具有信息论依据的方法，适用于复杂模型，包括层次模型和非线性结构。

提出的方法

• 通过在潜在预测变量空间 $ p( ilde{\boldsymbol{\nu}} \to \tilde{\boldsymbol{\nu}}_{\bot}) $ 中最小化参考模型与投影后预测分布之间的Kullback-Leibler散度，重新表述投影预测推断，而非在响应变量空间中进行。
• 以潜在预测变量 $ \boldsymbol{\nu} = g^{-1}(\boldsymbol{\theta}) $ 作为投影的核心空间，其中 $ \boldsymbol{\theta} $ 为线性预测变量，$ g $ 为链接函数的逆函数。
• 使用正态分布近似潜在预测分布 $ p(\tilde{\boldsymbol{\nu}} \to \tilde{\boldsymbol{\nu}}_{\bot}) $，从而实现闭式解并加快计算速度。
• 采用两步优化策略：首先，通过保持预测性能的约束投影，将后验抽样结果 $ \boldsymbol{\nu}_*^{(s)} $ 投影到低维潜在空间。
• 在潜在空间中使用迭代加权或闭式解法（如 PIRLS）高效估计模型参数，避免在原始响应空间中出现的收敛问题。
• 集成诊断工具，用于检测潜在空间是否显著偏离正态性，从而在这些情况下标记潜在性能下降的风险。

实验结果

研究问题

• RQ1 投影预测推断能否推广至指数族以外的模型（如有序、计数和生存模型），同时保持模型结构和不确定性？
• RQ2 在潜在预测变量空间中进行投影是否能带来比传统响应空间投影更稳定、更准确的变量选择，尤其是在非高斯模型中？
• RQ3 与现有方法（如 projpred 和 Lasso）相比，潜在空间方法在计算效率和变量选择准确性方面表现如何，特别是在高维或小样本设置下？
• RQ4 潜在空间方法能否改善具有复杂链接函数和群体效应的层次模型（如濒危物种繁殖力预测）中的收敛性与稳定性？
• RQ5 对潜在空间的正态近似在多大程度上影响性能？诊断工具是否能可靠识别该假设失效的情况？

主要发现

• 潜在空间投影方法在预测性能上显著优于原始 projpred 框架，尤其在具有个体层面随机效应的层次伯努利模型中，原始方法完全无法收敛。
• 在 $ N=100 $、$ D=50 $ 的伯努利模型中，潜在方法选择的变量更少，且在自 resampling 样本中的变异性更低，而原始方法在所有情况下均出现过度选择。
• 潜在方法显著快于原始 projpred，所有测试数据规模下的相对运行时间均低于 1.0，且随着维度增加，速度优势进一步扩大。
• 在非高斯指数族模型（如伯努利分布）中，潜在方法降低了投影方差，提升了稳定性，尤其在小样本数据集（如 Cancer 和 Rotterdam）中，得益于潜在空间中的噪声过滤。
• 潜在方法在复杂模型（包括层次模型和非线性模型）中成功恢复了相关模型结构与变量，具有更优的解路径排序和更高的预测准确性。
• 该方法提供了可靠的开源实现及诊断工具，可检测潜在空间是否偏离正态性，从而在这些情况下提示潜在性能风险。