[论文解读] A determinantal point process for column subset selection

Ayoub Belhadji, R. Bardenet+1 more|arXiv (Cornell University)|Dec 23, 2018

Stochastic Gradient Optimization Techniques参考文献 46被引用 14

一句话总结

本文提出了一种新颖的随机列子集选择算法，利用投影确定性点过程（DPP）从矩阵 X 中选择 k 个多样化列，以实现高质量的低秩逼近。该方法在合理结构假设下（特别是 k-杠杆度量分数的稀疏性或快速衰减），相较于体积采样，实现了更紧致的近似误差理论界，同时与双阶段算法的实验性能相当。

ABSTRACT

Dimensionality reduction is a first step of many machine learning pipelines. Two popular approaches are principal component analysis, which projects onto a small number of well chosen but non-interpretable directions, and feature selection, which selects a small number of the original features. Feature selection can be abstracted as a numerical linear algebra problem called the column subset selection problem (CSSP). CSSP corresponds to selecting the best subset of columns of a matrix $X \in \mathbb{R}^{N imes d}$, where \emph{best} is often meant in the sense of minimizing the approximation error, i.e., the norm of the residual after projection of $X$ onto the space spanned by the selected columns. Such an optimization over subsets of $\{1,\dots,d\}$ is usually impractical. One workaround that has been vastly explored is to resort to polynomial-cost, random subset selection algorithms that favor small values of this approximation error. We propose such a randomized algorithm, based on sampling from a projection determinantal point process (DPP), a repulsive distribution over a fixed number $k$ of indices $\{1,\dots,d\}$ that favors diversity among the selected columns. We give bounds on the ratio of the expected approximation error for this DPP over the optimal error of PCA. These bounds improve over the state-of-the-art bounds of \emph{volume sampling} when some realistic structural assumptions are satisfied for $X$. Numerical experiments suggest that our bounds are tight, and that our algorithms have comparable performance with the \emph{double phase} algorithm, often considered to be the practical state-of-the-art. Column subset selection with DPPs thus inherits the best of both worlds: good empirical performance and tight error bounds.

研究动机与目标

• 为解决从高维矩阵 X 中选择少量多样化列的挑战，以在最小化近似误差的同时保持可解释性。
• 开发一种随机化列子集选择（CSS）算法，平衡计算效率与近似误差的强理论保证。
• 在体积采样和双阶段算法等现有方法的基础上进行改进，提供更紧致的理论界，以反映真实世界矩阵结构。
• 分析使用所选列进行压缩线性回归时的额外风险，将杠杆度量分数的稀疏性与更优的一般化界联系起来。
• 通过实证验证，基于 DPP 的方法在性能上可与当前实验黄金标准——双阶段算法相媲美，同时提供更强的理论依据。

提出的方法

• 该方法使用由核矩阵 K = V_k V_k^T 参数化的投影 DPP，其中 V_k 是 X 的前 k 个右奇异向量，以在列选择中引入多样性。
• 从 DPP 中采样可确保所选列在列空间中覆盖广泛的方向，减少冗余并提升子空间覆盖率。
• 该算法将 X 的 k-杠杆度量分数作为列重要性的代理，其稀疏性和衰减特性在理论界中起关键作用。
• 理论分析提供了相对于秩-k PCA 的近似误差期望的 Frobenius 范数和谱范数的乘法界。
• 该方法被扩展用于分析压缩线性回归中的额外风险，表明 k-杠杆度量分数的稀疏性可带来更紧致的风险界。
• 数值实验在合成数据集和真实数据集上，采用固定采样和增强采样策略，将基于 DPP 的方法与体积采样、双阶段算法及其他基线方法进行了比较。

实验结果

研究问题

• RQ1 在矩阵 X 的何种结构条件下，基于 DPP 的列选择方法相较于体积采样能获得更优的理论近似误差界？
• RQ2 k-杠杆度量分数的稀疏性或衰减率如何影响所提基于 DPP 的列选择算法的性能与理论保证？
• RQ3 基于 DPP 的列选择方法能否在实验性能上与双阶段算法相当，同时提供更紧致的理论界？
• RQ4 当使用所选列作为特征时，k-杠杆度量分数的稀疏性与压缩线性回归中的额外风险之间存在何种关系？
• RQ5 在多样性与近似误差方面，DPP 采样机制与独立同分布采样及体积采样相比有何差异？

主要发现

• 在 k-杠杆度量分数稀疏或快速衰减的条件下，所提出的基于 DPP 的算法在 Frobenius 范数和谱范数的期望近似误差上，相较于体积采样，理论界更紧致。
• 当 k-杠杆度量分数稀疏或衰减迅速时，理论界显著改善，与压缩感知和矩阵逼近中的发现一致。
• 数值实验表明，基于 DPP 的方法在多个数据集（包括 Relathe 和 Leukemia）上的性能与双阶段算法（当前实验黄金标准）相当。
• 当 k-杠杆度量分数稀疏或衰减迅速时，压缩线性回归中的额外风险更小，证明了该方法在下游学习任务中的实用性。
• 该算法兼具强大的理论保证与出色的实验性能，为可解释性与近似精度之间提供了平衡的解决方案。
• 理论分析表明，与独立同分布或体积采样相比，DPP 采样机制在列冗余或相关时能实现更优的子空间覆盖率。