[論文レビュー] Large Scale Distributed Multiclass Logistic Regression

Pengtao Xie, Jin Kyu Kim+1 more|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques参考文献 6被引用数 2

ひとこと要約

この論文は、完全な勾配行列の代わりに2つのベクトルのみを送信することで通信コストを低減する分散マルチクラスロジスティック回帰フレームワークを提案する。受信側で勾配を再構築するための十分なベクトルブロードキャスター（SVB）を用いる。この手法により通信複雑度が線形に抑えられ、ImageNetのような大規模データセットにおいても正しさを損なわず、スケーラビリティが著しく向上する。

ABSTRACT

Multiclass logistic regression (MLR) is a fundamental machine learning model to do multiclass classification. However, it is very challenging to perform MLR on large scale data where the feature dimension is high, the number of classes is large and the number of data samples is numerous. In this paper, we build a distributed framework to support large scale multiclass logistic regression. Using stochastic gradient descent to optimize MLR, we find that the gradient matrix is computed as the outer product of two vectors. This grants us an opportunity to greatly reduce communication cost: instead of communicating the gradient matrix among machines, we can only communicate the two vectors and use them to reconstruct the gradient matrix after communication. We design a Sufficient Vector Broadcaster (SVB) to support this communication pattern. SVB synchronizes the parameter matrix of MLR by broadcasting the sufficient vectors among machines and migrates gradient matrix computation on the receiver side.SVB can reduce the communication cost from quadratic to linear without incurring any loss of correctness. We evaluate the system on the ImageNet dataset and demonstrate the efficiency and effectiveness of our distributed framework.

研究の動機と目的

• 高次元の特徴、多数のクラス、および大規模なサンプル数を有する大規模データにマルチクラスロジスティック回帰をスケーリングする課題に対処すること。
• 従来の手法を上回る分散学習におけるマルチクラスロジスティック回帰の通信オーバーヘッドを低減すること。
• モデルの正確性を維持しながら、マシン間のデータ転送を最小限に抑える通信効率の良いフレームワークを設計すること。
• 高次元特徴と多数のクラスを有する実世界のデータセット（例：ImageNet）においても効率的な学習を可能にすること。

提案手法

• フレームワークは、マルチクラスロジスティック回帰モデルの最適化に確率的勾配降下法（SGD）を用いる。
• 勾配行列の数学的構造が2つのベクトルの外積として表現可能であることに着目し、通信の削減を実現する。
• 完全な勾配行列の代わりに2つのベクトルのみをマシン間でブロードキャストする十分なベクトルブロードキャスター（SVB）を設計する。
• 受信側のマシンは受信したベクトルから勾配行列を再構築し、完全な行列の送信を回避する。
• SVBは十分なベクトルを配布することでパラメータ行列の同期を図り、ワーカー間での一貫性を保証する。
• ベクトルベースの再構築により正確な勾配計算を維持することで、正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 マルチクラスロジスティック回帰の分散学習において、通信コストを二次から一次の複雑度に低減できるか、かつ正確性を損なわないか。
• RQ2 勾配行列の外積構造が分散学習における効率的通信をどのように可能にするか。
• RQ3 ImageNetのような大規模データセットにおいて、ベクトルベースの勾配送信が性能に与える影響は何か。
• RQ4 実世界のデータ環境下でも、十分なベクトルブロードキャスター（SVB）がモデルの収束性と正確性を維持できるか。
• RQ5 特徴次元数、クラス数、データサンプル数の増加に伴い、提案フレームワークはどのようにスケーリングするか。

主な発見

• 十分なベクトルブロードキャスター（SVB）は、分散マルチクラスロジスティック回帰における通信コストを二次から一次の複雑度に成功して低減した。
• 送信されたベクトルからの勾配行列再構築により、正確な勾配計算が維持され、正確性の損失がないことが保証された。
• 高次元特徴と多数のクラスを有するImageNetデータセットにおいても、効率的な学習が実現され、大規模データへのスケーラビリティが示された。
• 通信の低減は、モデルの正確性や収束速度に悪影響を及げることなく実現された。
• 提案手法により、実世界の大規模データセットにおけるマルチクラスロジスティック回帰のスケーラブルで効率的な分散学習が可能になった。