[论文解读] Exploiting the Structure: Stochastic Gradient Methods Using Raw Clusters

Zeyuan Allen-Zhu, Yuan Yang+1 more|arXiv (Cornell University)|Feb 5, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用 15

一句话总结

本文提出 ClusterACDM 和 ClusterSVRG 两种随机优化算法，通过利用数据中的原始聚类结构来加速经验风险最小化（ERM）。通过在对偶空间中引入一种新型的哈尔变换，并结合基于聚类信息的方差缩减梯度估计器，这些方法在 Covtype 和 SensIT 等聚类性良好的数据集上，相比经典 ACDM 和 SVRG 实现了更快的收敛速度。

ABSTRACT

The amount of data available in the world is growing faster than our ability to deal with it. However, if we take advantage of the internal \emph{structure}, data may become much smaller for machine learning purposes. In this paper we focus on one of the fundamental machine learning tasks, empirical risk minimization (ERM), and provide faster algorithms with the help from the clustering structure of the data. We introduce a simple notion of raw clustering that can be efficiently computed from the data, and propose two algorithms based on clustering information. Our accelerated algorithm ClusterACDM is built on a novel Haar transformation applied to the dual space of the ERM problem, and our variance-reduction based algorithm ClusterSVRG introduces a new gradient estimator using clustering. Our algorithms outperform their classical counterparts ACDM and SVRG respectively.

研究动机与目标

• 通过利用数据中潜在的聚类结构，解决经典随机梯度方法在大规模数据集上的低效问题。
• 开发利用原始聚类信息以超越标准 ACDM 和 SVRG 的算法。
• 设计一种计算高效的聚类检测与计算流水线，可在多次训练运行中分摊成本。
• 证明聚类感知优化可在无需精确聚类或高计算开销的前提下实现显著加速。

提出的方法

• 引入 (s, δ) 原始聚类的概念，即数据向量被划分为 s 个聚类，且平均类内距离 ≤ δ。
• 提出 ClusterACDM，通过在 ERM 问题的对偶空间中应用一种新型哈尔变换，以利用聚类结构。
• 开发 ClusterSVRG，一种基于新型梯度估计器的方差缩减算法，该估计器利用聚类成员身份以改进梯度近似。
• 采用近似最近邻技术（如 LSH）以时间与单次 SAGA 传递成比例的方式，高效检测并计算原始聚类。
• 采用两阶段方法：检测阶段（0.3T）用于检查是否存在良好的聚类结构，若存在则进行完整聚类计算（≈3T）。
• 将聚类计算成本在多次训练运行中分摊，使其在实际应用中可忽略不计。

实验结果

研究问题

• RQ1 在数据中利用原始聚类结构是否能显著加速 ERM 问题的收敛？
• RQ2 如何在最小计算开销下，高效且稳健地从大规模数据集中提取聚类信息？
• RQ3 聚类感知优化在实际中是否能超越经典随机方法（如 ACDM 和 SVRG）？
• RQ4 聚类质量（如 δ）对所提算法性能有何影响？
• RQ5 聚类计算的分摊成本如何影响整体训练效率？

主要发现

• 在 Covtype 和 SensIT 等聚类性良好的数据集上，ClusterACDM 和 ClusterSVRG 的收敛速度显著优于经典 ACDM 和 SVRG。
• 对于 Covtype 数据集，δ = 0.1 的原始聚类在 0.3T 内被检测到，并在约 3T 内完成计算，当在多次运行中分摊时，聚类时间可忽略不计。
• ClusterACDM 的哈尔变换步骤耗时约为单次 SAGA 传递的 1.3–3.4 倍，但该成本可分摊，不会主导训练过程。
• ClusterSVRG 和 ClusterACDM 在多个数据集上均表现出一致的加速效果，即使在聚类较弱时（如 News20）也未出现性能下降。
• 算法对不完美聚类具有鲁棒性：即使近似最近邻搜索中遗漏了部分邻居，性能仍保持稳定。
• 所提方法在无需精确聚类的前提下实现了显著加速，使其在真实世界的大数据应用中具有实用性。