[论文解读] Divide-and-Conquer Learning by Anchoring a Conical Hull

Tianyi Zhou, Jeff Bilmes+1 more|arXiv (Cornell University)|Jun 22, 2014

Face and Expression Recognition参考文献 29被引用 8

一句话总结

本文提出了一种新颖的分而治之锚定（DCA）方法，将复杂的机器学习问题——如高斯混合模型（GMM）、隐马尔可夫模型（HMM）、潜在狄利克雷分配（LDA）、非负矩阵分解（NMF）和子空间聚类——简化为从数据点中寻找锥包络的k个极射线（锚点）。通过将数据投影到低维随机超平面上，并利用基于余弦值的非迭代二维求解器解决子问题，DCA实现了全局解，具有极高的速度和鲁棒性，在泛化性能上优于期望最大化（EM）和采样方法，同时实现了可解释性、抗噪声的模型，推理速度最高可达数百倍的提升。

ABSTRACT

We reduce a broad class of machine learning problems, usually addressed by EM or sampling, to the problem of finding the $k$ extremal rays spanning the conical hull of a data point set. These $k$ "anchors" lead to a global solution and a more interpretable model that can even outperform EM and sampling on generalization error. To find the $k$ anchors, we propose a novel divide-and-conquer learning scheme "DCA" that distributes the problem to $\mathcal O(k\log k)$ same-type sub-problems on different low-D random hyperplanes, each can be solved by any solver. For the 2D sub-problem, we present a non-iterative solver that only needs to compute an array of cosine values and its max/min entries. DCA also provides a faster subroutine for other methods to check whether a point is covered in a conical hull, which improves algorithm design in multiple dimensions and brings significant speedup to learning. We apply our method to GMM, HMM, LDA, NMF and subspace clustering, then show its competitive performance and scalability over other methods on rich datasets.

研究动机与目标

• 解决EM和采样方法在潜在变量模型中的局限性，这些方法易陷入局部最优且对初始化敏感。
• 克服高维或噪声环境下基于矩方法的高方差和不稳定性。
• 为GMM、HMM、LDA、NMF和子空间聚类等模型开发一种全局、可解释且可扩展的学习框架。
• 通过随机投影和基于余弦的锚定，在低维子空间中实现锥包络问题的快速、非迭代求解。
• 提供一种可重用的子程序，用于检查点是否位于锥包络内，从而提升更广泛算法流水线的效率。

提出的方法

• 通过从数据点中识别k个极射线（锚点），将一大类机器学习问题简化为最小锥包络问题。
• 引入广义可分性假设，允许表示为 X = F Y_A，其中 Y_A 是构成锚点的数据点子集，从而实现模型可识别性。
• 提出DCA——一种分而治之的方案，将数据投影到 O(k log k) 个随机低维超平面上，以生成子问题。
• 利用任何标准求解器解决每个低维子问题，借助随机投影对锥包络结构的几何保持特性。
• 设计一种非迭代二维求解器，通过计算点向量的余弦值并识别最大/最小值，实现二维空间中锚点的定位。
• 将DCA框架集成到现有模型（GMM、HMM、LDA、NMF、SC）中，用快速、全局的锚定过程替代迭代求解器。

实验结果

研究问题

• RQ1 潜在变量模型的学习能否被重新表述为全局锥包络锚定问题，从而避免EM和采样方法的局部最优？
• RQ2 随机投影在多大程度上能保持锥包络的结构，以确保在低维子空间中恢复锚点？
• RQ3 为以高概率恢复全部k个锚点，所需的最低数量的低维子问题是多少？
• RQ4 基于余弦计算的非迭代求解器在二维锚定问题中，能否在速度和精度上超越迭代或采样方法？
• RQ5 DCA在多大程度上可作为锥包络覆盖检查的快速子程序，从而提升其他学习算法的性能？

主要发现

• DCA在GMM、HMM、LDA、NMF和子空间聚类等多个模型中，推理速度最高可达传统EM和采样方法的数百倍。
• 所提出的非迭代二维求解器仅需计算余弦值数组并找出其最大/最小值，即可实现极低计算量的超快速锚定。
• 该方法在泛化误差上始终优于谱方法和矩阵分解，性能与EM和采样方法相当或更优。
• 通过使用真实数据点作为锚点，所得模型更具可解释性，能提供比黑箱分解更清晰的解释。
• DCA框架提供了一种可重用的子程序，用于检查某一点是否位于锥包络内，显著加速了其他求解器的运行。
• 理论分析表明，DCA使用 O(k log k) 个随机子问题即可以高概率恢复全部k个锚点，确保了可扩展性和鲁棒性。