[論文レビュー] L1-Regularized Distributed Optimization: A Communication-Efficient Primal-Dual Framework

Virginia Smith, Simone Forte+2 more|arXiv (Cornell University)|Dec 13, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 12

ひとこと要約

本稿では、特徴量またはデータポイントごとのパーティショニングを可能にする、通信効率の高いプライマル・デュアル枠組みであるproxCoCoA⁺を提案する。L₁正則化最適化の分散処理に適しており、Amazon EC2上で最先端の手法と比較して最大50倍の高速化を達成。非強い凸正則化子に対する、一般化された分析フレームワークを用いた、新たな収束保証を提供する。

ABSTRACT

Despite the importance of sparsity in many large-scale applications, there are few methods for distributed optimization of sparsity-inducing objectives. In this paper, we present a communication-efficient framework for L1-regularized optimization in the distributed environment. By viewing classical objectives in a more general primal-dual setting, we develop a new class of methods that can be efficiently distributed and applied to common sparsity-inducing models, such as Lasso, sparse logistic regression, and elastic net-regularized problems. We provide theoretical convergence guarantees for our framework, and demonstrate its efficiency and flexibility with a thorough experimental comparison on Amazon EC2. Our proposed framework yields speedups of up to 50x as compared to current state-of-the-art methods for distributed L1-regularized optimization.

研究の動機と目的

• スパarsity誘導型L₁正則化問題（例：Lassoやスパースロジスティック回帰）に対する効率的な分散処理手法の不足に対処すること。
• CoCoA⁺のような既存のプライマル・デュアル手法の制限を克服すること。これらの手法は強い凸正則化子に限定されており、データポイントごとのパーティショニングを必要としている。
• プライマルおよびデュアル最適化を両方サポートする統一フレームワークを構築し、特徴量またはデータポイントに応じた柔軟なデータ分散を可能にすること。
• スムージング技術に依存せずに、L₁正則化子を含む非強い凸正則化子に対する理論的収束保証を提供すること。
• 実世界の分散データセットを用いた広範な実験を通じて、実践的な性能向上を実証すること。

提案手法

• CoCoA⁺を拡張し、一般化されたプライマル・デュアル設定に最適化問題を再解釈することで、L₁のような非強い凸正則化子を直接処理可能にする。
• 特徴量やデータポイントごとのデータパーティショニングを可能にし、L₁正則化で一般的な高次元設定における通信効率を向上させる。
• 各マシンで任意の局所ソルバー（例：座標降下法）を用い、部分問題を任意の精度まで解くことで、柔軟性とスケーラビリティを向上させる。
• 滑らか化に基づくアプローチを追加せずに、強い凸および非強い凸両ケースにおけるプライマル・デュアル収束速度を確立する、革新的な収束解析を構築する。
• Apache Sparkに実装され、glmnet や blitz などの内部ソルバーをサポートする。主な調整パラメータ H は局所近似の品質を制御する。
• proxCoCoA⁺が、エラスティックネット正則化問題に適用された場合、CoCoA⁺の特殊ケースとして一般化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性を要件としないL₁正則化問題を効率的に処理できるプライマル・デュアル分散最適化フレームワークを設計できるか？
• RQ2 特徴量ごとのデータパーティショニングを可能にすることで、分散L₁正則化最適化における通信効率をどのように向上させられるか？
• RQ3 非強い凸正則化子に対して、分散プライマル・デュアルフレームワークでどのような理論的収束保証を確立できるか？
• RQ4 ADMM、ミニバッチSGD、OWL-QN といった最先端の手法と比較して、提案フレームワークは実際の性能（速度および収束性）でどのように優れているか？
• RQ5 理論的厳密性と実用的効率を維持しながら、プライマルおよびデュアル定式化の両方をサポートできるほどフレームワークを柔軟にできるか？

主な発見

• 提案されたproxCoCoA⁺フレームワークは、Amazon EC2クラスタ上で、分散L₁正則化最適化において、最先端の手法と比較して最大50倍の高速化を達成した。
• 特に効率的な局所ソルバーを用いた場合、強い凸目的関数に対してもCoCoA⁺よりも顕著な性能向上を示した。
• 強い凸および非強い凸正則化子の両方に対して、収束速度の理論的保証を確立した。特に、スムージングに基づくアプローチを避ける革新的な解析を採用した。
• 特徴量またはデータポイントに応じた柔軟なデータパーティショニングをサポートし、高次元設定における通信ボトルネックを低減した。
• 実験結果から、proxCoCoA⁺は複数の実世界データセットにおいて、ADMM、ミニバッチSGD、プロキシマルGD、ミニバッチCD、OWL-QNをすべて上回った。
• glmnet や blitz といった高速な単一マシンL₁ソルバーを内部ソルバーとして使用することで、フレームワークの性能がさらに向上した。H（局所反復回数）は、精度と速度の間で調整可能なトレードオフを提供する。