[論文レビュー] Efficient Distributed Learning with Sparsity

Jialei Wang, Mladen Kolar+2 more|arXiv (Cornell University)|May 25, 2016

Sparse and Compressive Sensing Techniques参考文献 40被引用数 42

ひとこと要約

本稿では、最小限の通信および計算で集中推定誤差性能を達成する、新規の分散スパース学習アルゴリズムを提案する。マスターサイドで逐次的にシフトされたℓ1正則化M推定量問題を解き、ワーカー側で局所勾配を計算することで、定数回の通信ラウンド内で集中推定の誤差境界に一致する。従来のワンショット手法に比べ、標本複雑性と計算効率において顕著に向上し、データの仮定も緩和する。

ABSTRACT

We propose a novel, efficient approach for distributed sparse learning in high-dimensions, where observations are randomly partitioned across machines. Computationally, at each round our method only requires the master machine to solve a shifted ell_1 regularized M-estimation problem, and other workers to compute the gradient. In respect of communication, the proposed approach provably matches the estimation error bound of centralized methods within constant rounds of communications (ignoring logarithmic factors). We conduct extensive experiments on both simulated and real world datasets, and demonstrate encouraging performances on high-dimensional regression and classification tasks.

研究の動機と目的

• 複数のマシンに分散配置されたデータにおいて、高次元スパース学習の課題に対処すること。
• 通信コストと計算コストを低減しつつ、集中手法に近い統計的性能を維持すること。
• 既存のワンショット手法の限界、例えばデバイアス補正の計算コストの高さや強いデータ仮定を克服すること。
• データサイズや次元数に依存しない定数回の通信ラウンドで、最適な統計的誤差境界を達成すること。
• 大規模かつ高次元な環境において、最小限の調整でスケーラブルで効率的かつ統計的に一貫したスパース学習を可能にすること。

提案手法

• マスター・ワーカーアーキテクチャを採用し、各イテレーションでマスターがシフトされたℓ1正則化M推定量問題を解く。
• 各ワーカーが自らのデータパーティション上の局所損失関数の勾配を計算する。
• 局所勾配とグローバル推定値を組み合わせる再帰的更新ルールを用いて、スパースパラメータベクトルを改善する。
• 制限された強い凸性とサブガウス型集中不等式を用いて推定誤差をバインドする。
• 収束の安定化と統計的効率の向上のため、シフト正則化スキームを導入する。
• 理論的解析においてホルダーの不等式と三角不等式を用い、ℓ1およびℓ2誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 分散スパース学習は、定数回の通信ラウンドで、集中推定の統計的誤差に到達可能か？
• RQ2 提案手法はワンショット平均化手法と比較して、標本複雑性と計算コストの点でどのように異なるか？
• RQ3 分散高次元設定における一貫した推定に必要な仮定は何か。それらは緩和可能か？
• RQ4 最適な統計的性能を達成しつつ、計算オーバーヘッドを低く保てるか？
• RQ5 ℓ1およびℓ2推定誤差の観点から、分散推定量の理論的収束速度はどのようになるか？

主な発見

• 提案手法は、対数要因を除き、定数回の通信ラウンドで集中推定と同等の統計的誤差を達成する。
• 標本複雑性を、Avg-Debias法におけるn ≳ m s² log p から n ≳ s² log p に改善し、マシン数mに依存しなくなった。
• 計算コストの高いデバイアス補正ステップを回避し、各ラウンドで1回のℓ1正則化最適化のみを必要とし、局所推定と同等の複雑性を維持する。
• 理論的解析により、やや弱い仮定のもとで、ℓ1およびℓ2推定誤差がラウンド数に従って幾何的に減少することが示された。
• 一般化コherエンスなどの強いデータ条件を必要とせず、より広範な高次元モデルに適用可能である。
• シミュレートデータおよび実世界のデータセットにおける実験結果から、高次元回帰および分類タスクにおいて優れた性能を確認した。