[論文レビュー] Large Scale Distributed Distance Metric Learning

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|Dec 18, 2014

Face and Expression Recognition参考文献 15被引用数 3

ひとこと要約

本論文は、パラメータサーバー・アーキテクチャ上で非同期確率的勾配降下法を用いた分散距離行列学習フレームワークを提案する。マハラノビス距離学習問題を、コストの高い固有値分解を回避するための $L^T L$ 分解に再定式化する。最先端の効率性と有効性を達成し、256コアで100万件のデータポイントと2億組のペアを15時間で学習し、MNISTで0.90の平均精度を達成しており、先行手法を上回っている。

ABSTRACT

In large scale machine learning and data mining problems with high feature dimensionality, the Euclidean distance between data points can be uninformative, and Distance Metric Learning (DML) is often desired to learn a proper similarity measure (using side information such as example data pairs being similar or dissimilar). However, high dimensionality and large volume of pairwise constraints in modern big data can lead to prohibitive computational cost for both the original DML formulation in Xing et al. (2002) and later extensions. In this paper, we present a distributed algorithm for DML, and a large-scale implementation on a parameter server architecture. Our approach builds on a parallelizable reformulation of Xing et al. (2002), and an asynchronous stochastic gradient descent optimization procedure. To our knowledge, this is the first distributed solution to DML, and we show that, on a system with 256 CPU cores, our program is able to complete a DML task on a dataset with 1 million data points, 22-thousand features, and 200 million labeled data pairs, in 15 hours; and the learned metric shows great effectiveness in properly measuring distances.

研究の動機と目的

• 100万次元以上の特徴量と数十億組のペairワイズ制約を含む高次元・大規模データに対して、従来の距離行列学習（DML）の計算不能性を解消すること。
• 分散環境下での半定値計画法における固有値分解の高コストと硬直的制約の問題を克服すること。
• バッチ同期分散型並列処理を回避し、マシン間での効率的なパラメータ同期を可能にするスケーラブルな分散最適化フレームワークを設計すること。
• 具体的には、100万件のサンプル、2万2千次元の特徴量、2億組のラベル付きペアを含む、前例のない規模のデータセットに対して、パラメータサーバー・アーキテクチャを用いて効果的かつ効率的なDMLを実現すること。

提案手法

• 更新ごとに $O(d^3)$ の固有値分解を回避するため、マハラノビス距離行列 $M$ を $L^T L$ に再定式化し、正定値性を保つ。
• 類似/非類似ペairの硬直的制約をヒンジ損失関数に緩和することで、滑らかで微分可能な最適化を可能にし、分散環境下での制約違反を回避する。
• パラメータサーバー・アーキテクチャ上で非同期確率的勾配降下法（ASGD）を用い、ワーカーが $L$ のローカルコピーを独立して更新し、非同期に勾配を中央のパラメータサーバーにプッシュする。
• ペアワイズ制約をワーカー間で分割し、ミニバッチ更新を確率的勾配を用いて行い、通信オーバーヘッドを低減し、高スルーレートの学習を実現する。
• パラメータサーバー・モデルを活用して計算と同期を分離し、ワーカー計算をブロッキングせずにバックグラウンドでパラメータ同期を可能にする。
• 全 $d \times d$ 行列 $M$ の代わりに、$k \ll d$ の低ランク因子 $L$ を最適化することで、メモリと計算コストを $O(d^2)$ から $O(dk)$ に削減する。

実験結果

リサーチクエスチョン

• RQ1 100万件のサンプル、2万2千次元の特徴量、2億組のラベル付きペアを含むデータセットを、効率的に処理できる分散的でスケーラブルなDMLフレームワークを設計できるか？
• RQ2 従来のDMLにおける高コストな固有値分解ステップを、メトリクス品質を損なわずに分散環境でどのように排除できるか？
• RQ3 パラメータサーバーによる非同期確率的勾配降下法は、大規模DMLにおける学習速度とスケーラビリティをどの程度向上できるか？
• RQ4 $L^T L$ 分解を用いた非制約最適化問題への再定式化は、元のSDP定式化と比較して、メトリクスの有効性を保持または向上させるか？
• RQ5 ペアワイズ制約に対するヒンジ損失の緩和は、DMLにおける安定的でスケーラブルかつ効果的な分散学習を可能にするか？

主な発見

• 提案フレームワークは、256コアで100万件のデータポイント、2万2千次元の特徴量、2億組のペアを含むデータセットを15時間で学習完了し、DML分野において前例のない規模のスケーラビリティを示した。
• MNISTデータセットで0.90の平均精度を達成した。Xingら（2002）、ITML、KISSは0.73の平均精度にとどまり、本手法は顕著に優れている。
• 更新ごとの計算量が $O(dk)$ に効率化されたため、単一スレッドでも学習時間を約30分にまで短縮した。Xing ら（2002）は24時間、ITMLは3時間かかっていた。
• ImageNet-1Mにおける精度-再現率曲線は、学習済みマハラノビス距離が元のユークリッド距離よりも顕著に改善されたことを示し、メトリクスの有効性を裏付けた。
• 非同期パラメータサーバー設計により、同期のボトルネックが最小限に抑えられ、大規模で実世界のデータマイニング応用に適した高スルーレートを実現した。
• $L^T L$ とヒンジ損失による再定式化により、固有値分解と硬直的制約の必要性が排除され、性能を損なわずスケーラブルな分散最適化が可能になった。