[論文レビュー] Feature-Distributed SVRG for High-Dimensional Linear Classification

Gong-Duo Zhang, Shen-Yi Zhao+2 more|arXiv (Cornell University)|Feb 10, 2018

Stochastic Gradient Optimization Techniques参考文献 2被引用数 17

ひとこと要約

本稿では、インスタンスではなく特徴量でデータを分割する、高次元線形分類のための新しい分散学習手法である特徴量分散SVRG（FD-SVRG）を提案する。インスタンス分散手法とは異なり、次元数がインスタンス数を上回る状況では、通信コストを低減し、収束速度を向上させ、実世界のデータセットにおいて、DSVRG や PS-Lite (SGD) よりもウォールクロック時間と通信効率の両面で優れている。

ABSTRACT

Linear classification has been widely used in many high-dimensional applications like text classification. To perform linear classification for large-scale tasks, we often need to design distributed learning methods on a cluster of multiple machines. In this paper, we propose a new distributed learning method, called feature-distributed stochastic variance reduced gradient (FD-SVRG) for high-dimensional linear classification. Unlike most existing distributed learning methods which are instance-distributed, FD-SVRG is feature-distributed. FD-SVRG has lower communication cost than other instance-distributed methods when the data dimensionality is larger than the number of data instances. Experimental results on real data demonstrate that FD-SVRG can outperform other state-of-the-art distributed methods for high-dimensional linear classification in terms of both communication cost and wall-clock time, when the dimensionality is larger than the number of instances in training data.

研究の動機と目的

• 次元数がサンプル数を上回る高次元設定において、従来のインスタンス分散分散学習手法の高い通信コストを解消すること。
• データをインスタンスではなく特徴量で分割する分散最適化フレームワークを設計し、高次元線形分類における通信オーバーヘッドを低減すること。
• 非分散SVRGと同等の収束速度を達成しつつ、スケーラブルな分散パラメータ学習を可能にすること。
• 実世界の高次元データセットにおいて、最先端の分散SVRGおよびSGD手法と比較して、通信コストとウォールクロック時間の両面で優れた性能を示すこと。

提案手法

• 各ワーカーがインスタンスではなく特徴量のサブセットを格納する、特徴量分散データ分割戦略を提案する。
• Stochastic Variance Reduced Gradient (SVRG) アルゴリズムを特徴量分散設定に適応し、非分散SVRGと同等の収束速度を維持する。
• ワーカー間でのパラメータと勾配の同期にリングベースの分散型フレームワークを用い、中央集権的なボトルネックを回避する。
• 収束安定性を保証するため、固定ステップサイズと、1ワーカーあたりのトレーニングインスタンス数に等しい内部ループ長を採用する。
• 中央サーバーを排除したワーカーのみのアーキテクチャを実装し、特定のノードへの通信負荷を軽減する。
• ワーカー間で送信されるのは、d次元のベクトル（dは特徴量次元）のみであり、スカラ値伝送を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 インスタンス分散手法と比較して、特徴量分散アプローチは高次元線形分類における通信コストを低減できるか？
• RQ2 特徴量分散SVRG手法は、非分散SVRGと同等の収束速度を維持できるか？
• RQ3 FD-SVRG は、最先端の分散SVRGおよびSGD手法と比較して、ウォールクロック時間と通信コストの両面で優れているか？
• RQ4 特徴量数がインスタンス数を上回る高次元設定において、ワーカー数の増加に伴いFD-SVRGのスケーラビリティはどのように変化するか？

主な発見

• kdd2010 データセットでは、FD-SVRG は DSVRG より 29.9 倍高速で、ウォールクロック時間が 13.39 秒（DSVRG は 400.35 秒）であった。
• webspam データセットでは、FD-SVRG は PS-Lite (SGD) より 196 倍高速で、トレーニング時間を 827.12 秒から 4.23 秒に短縮した。
• 次元数がインスタンス数を上回る状況では、FD-SVRG が通信コストを顕著に低減し、インスタンス分散手法を凌駕した。
• webspam データセットでは、ワーカー数を 1 から 16 に増加させた際、ほぼ理想に近いスケーリング性能を示し、線形に近いスケーリングが実現した。
• 正則化パラメータ λ = 10⁻³ および 10⁻⁵ のさまざまな設定でも、FD-SVRG の一貫した優位性が実験で確認された。