[论文解读] Diversifying Sparsity Using Variational Determinantal Point Processes

Kayhan Batmanghelich, Gerald Quon+4 more|arXiv (Cornell University)|Nov 23, 2014

Point processes and geometric inequalities参考文献 19被引用 10

一句话总结

本文提出一种变分确定性点过程（DPP）框架，以改善贝叶斯稀疏回归中的多样化特征选择，利用DPP作为后验近似，基于协方差或辅助信息促进特征多样性。该方法在保持不确定性量化能力的同时，通过采样实现显著更高的特征多样性与准确性，优于传统方法如LASSO或OMP。

ABSTRACT

We propose a novel diverse feature selection method based on determinantal point processes (DPPs). Our model enables one to flexibly define diversity based on the covariance of features (similar to orthogonal matching pursuit) or alternatively based on side information. We introduce our approach in the context of Bayesian sparse regression, employing a DPP as a variational approximation to the true spike and slab posterior distribution. We subsequently show how this variational DPP approximation generalizes and extends mean-field approximation, and can be learned efficiently by exploiting the fast sampling properties of DPPs. Our motivating application comes from bioinformatics, where we aim to identify a diverse set of genes whose expression profiles predict a tumor type where the diversity is defined with respect to a gene-gene interaction network. We also explore an application in spatial statistics. In both cases, we demonstrate that the proposed method yields significantly more diverse feature sets than classic sparse methods, without compromising accuracy.

研究动机与目标

• 解决标准稀疏特征选择方法（如LASSO和OMP）中缺乏显式多样性促进的问题。
• 开发一种概率性、计算上可行的框架，利用确定性点过程（DPP）鼓励多样化特征子集。
• 为spike-and-slab后验提供一种变分近似，以捕捉复杂依赖关系，同时实现高效学习与采样。
• 基于特征协方差或外部辅助信息（例如基因互作网络）实现多样性，提升实际应用中的可解释性。
• 展示该方法在多样性与性能方面优于均场近似和经典稀疏方法。

提出的方法

• 使用DPP作为spike-and-slab模型的变分后验近似，以结构化依赖关系替代均场因子分解。
• 采用基于Salimans和Knowles（2013）的灵活变分推断框架，仅需高效的似然评估与后验采样。
• 利用回归的闭式边缘似然及基于SVD的高效采样，实现快速MAP估计与可信区间计算。
• 通过相似性特征Φ参数化DPP核，使多样性可基于特征协方差或特定应用的辅助信息定义。
• 使用采样特征子集进行随机梯度更新，迭代优化DPP参数，并通过温度参数实现自适应基数控制。
• 支持两种配置：DPP-Bernoulli（DPP先验，Bernoulli后验）与Bernoulli-DPP（Bernoulli先验，DPP后验），两者均支持多样化选择。

实验结果

研究问题

• RQ1 基于DPP的变分后验是否能在捕捉多样化、高性能特征子集方面优于均场近似？
• RQ2 与LASSO和OMP相比，所提出方法在特征多样性与预测准确性方面表现如何？
• RQ3 DPP框架能否有效整合辅助信息（如基因互作网络），在特征相关性之外引导多样性？
• RQ4 变分DPP方法是否能通过基于采样的可信区间提供可靠的不确定性量化？
• RQ5 该方法在高维、高度相关特征场景下是否具有鲁棒性，特别是在OMP因不稳定性而失效的情况下？

主要发现

• 所提出的基于DPP的变分方法在不牺牲预测准确性的情况下，显著提升了LASSO和OMP的特征多样性，尤其在基因表达数据中表现突出。
• 在美国家用温度数据应用中，DPP-Bernoulli与Bernoulli-DPP在空间多样性方面优于SpikeSlab与OMP，后者在稀疏区域表现出过度拟合。
• 当Φ = X时，DPP后验近似的表现与使用DPP先验结合均场近似的性能相当，验证了其有效性。
• 该方法成功识别出在肿瘤分型中具有生物学意义且非共线性的基因集，展示了在基于网络的多样性下生物信息学中的实用性。
• 从DPP后验中采样可实现不确定性量化，为OMP失效的多模态后验问题提供解决方案。
• 该算法通过基于SVD的采样与随机梯度更新实现稳定收敛，性能对核矩阵的条件数敏感。