[论文解读] Large Scale Distributed Distance Metric Learning

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|Dec 18, 2014

Face and Expression Recognition参考文献 15被引用 3

一句话总结

该论文提出了一种基于参数服务器架构的异步随机梯度下降的分布式距离度量学习框架，通过 $L^T L$ 分解重新表述马氏距离学习问题，以避免昂贵的特征值分解。该方法在效率和有效性方面达到当前最优水平，在 256 个核心上训练包含 100 万个数据点和 2 亿对样本的数据集仅耗时 15 小时，并在 MNIST 数据集上达到 0.90 的平均精度，优于以往方法。

ABSTRACT

In large scale machine learning and data mining problems with high feature dimensionality, the Euclidean distance between data points can be uninformative, and Distance Metric Learning (DML) is often desired to learn a proper similarity measure (using side information such as example data pairs being similar or dissimilar). However, high dimensionality and large volume of pairwise constraints in modern big data can lead to prohibitive computational cost for both the original DML formulation in Xing et al. (2002) and later extensions. In this paper, we present a distributed algorithm for DML, and a large-scale implementation on a parameter server architecture. Our approach builds on a parallelizable reformulation of Xing et al. (2002), and an asynchronous stochastic gradient descent optimization procedure. To our knowledge, this is the first distributed solution to DML, and we show that, on a system with 256 CPU cores, our program is able to complete a DML task on a dataset with 1 million data points, 22-thousand features, and 200 million labeled data pairs, in 15 hours; and the learned metric shows great effectiveness in properly measuring distances.

研究动机与目标

• 解决在具有数百万个特征和数十亿对成对约束的高维大规模数据上，传统距离度量学习（DML）存在的计算不可行性问题。
• 在分布式环境下，克服传统半定规划形式化 DML 中特征值分解和硬约束带来的高昂计算成本。
• 设计一种可扩展的分布式优化框架，避免使用整体同步并行机制，实现在多台机器间高效参数同步。
• 在前所未有的规模下实现有效且高效的 DML —— 特别是针对包含 100 万个样本、22,000 个特征和 2 亿个标注成对样本的数据集，采用参数服务器架构。

提出的方法

• 将马氏距离矩阵 $M$ 重新表述为 $L^T L$，以保持半正定性，同时避免每次更新时的 $O(d^3)$ 特征值分解。
• 将来自相似/不相似样本对的硬约束松弛为合页损失函数，以支持平滑、可微的优化，并在分布式环境中避免违反约束。
• 在参数服务器架构中使用异步随机梯度下降（ASGD），其中工作节点独立更新 $L$ 的本地副本，并异步将梯度推送到中央参数服务器。
• 将成对约束在工作节点间进行划分，并使用随机梯度进行小批量更新，从而降低通信开销，实现高吞吐量训练。
• 利用参数服务器模型实现计算与同步的解耦，允许在后台进行参数同步而不阻塞工作节点的计算。
• 优化低秩因子 $L$ 而非完整的 $d \times d$ 矩阵 $M$，将内存和计算成本从 $O(d^2)$ 降低至 $O(dk)$，其中 $k \ll d$。

实验结果

研究问题

• RQ1 能否设计一种分布式、可扩展的 DML 框架，以高效处理包含 100 万个样本、22,000 个特征和 2 亿个标注成对样本的数据集？
• RQ2 在分布式环境下，如何在不牺牲度量质量的前提下，消除传统 DML 中昂贵的特征值分解步骤？
• RQ3 在大规模 DML 中，异步随机梯度下降结合参数服务器协调，在提升训练速度和可扩展性方面能发挥多大作用？
• RQ4 通过 $L^T L$ 分解将 DML 重构为无约束优化问题，是否能保持甚至提升度量的有效性，相比原始的 SDP 形式化？
• RQ5 在成对约束上使用合页损失松弛，是否能实现稳定、可扩展且高效的分布式 DML 学习？

主要发现

• 所提出的框架在 256 个 CPU 核上仅用 15 小时便完成了对 100 万个样本、22,000 个特征、2 亿对样本数据集的训练，展示了 DML 在前所未有的规模下的可扩展性。
• 该方法在 MNIST 数据集上实现了 0.90 的平均精度，显著优于 Xing 等人（2002）、ITML 和 KISS 方法，后者仅达到 0.73 的平均精度。
• 由于每次更新的复杂度高效地降低至 $O(dk)$，单线程训练时间缩短至约 30 分钟，而 Xing 等人（2002）需 24 小时，ITML 需 3 小时。
• 在 ImageNet-1M 上的精确率-召回率曲线显示，使用学习得到的马氏距离相比原始欧氏距离有显著提升，证实了该度量的有效性。
• 异步参数服务器设计实现了高吞吐量，且同步瓶颈极小，适用于大规模真实世界数据挖掘应用。
• 通过 $L^T L$ 和合页损失的重构，消除了对特征值分解和硬约束的需求，实现了在不损失性能的前提下可扩展的分布式优化。