[論文レビュー] Convex Optimization for Big Data

Volkan Cevher, Stephen Becker+1 more|arXiv (Cornell University)|Nov 4, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 105

ひとこと要約

この論文は、1次元法、確率的処理、並列／分散計算を活用することで、ビッグデータにおけるスケーラブルな凸最適化のフレームワークを提案する。確率的1次元法が、小さなデータサブセットにおける近似的・低精度の計算を用いることで、収束性と解の品質を維持しながら、多くのプロセッサを用いた場合にほぼ線形に近い高速化を達成できることを示している。

ABSTRACT

This article reviews recent advances in convex optimization algorithms for Big Data, which aim to reduce the computational, storage, and communications bottlenecks. We provide an overview of this emerging field, describe contemporary approximation techniques like first-order methods and randomization for scalability, and survey the important role of parallel and distributed computation. The new Big Data algorithms are based on surprisingly simple principles and attain staggering accelerations even on classical problems.

研究の動機と目的

• ビッグデータ最適化における計算、ストレージ、通信のボトル neck を解消する。
• 従来の内点法などの手法では処理が困難な、極めて大規模なデータセットを扱えるスケーラブルなアルゴリズムを開発する。
• 計算のオーバーヘッドを低減する近似手法を用いて、大規模凸問題の効率的解法を可能にする。
• 確率的処理、1次元法、分散アーキテクチャの相乗効果を活用してスケーラビリティを向上させる。
• 分散、非同期、分散型設定における収束性と性能に対する理論的保証を提供する。

提案手法

• f(x) + g(x) の形の複合凸最適化定式化を採用：f は滑らかで、g は凸だが、滑らかでない可能性がある。
• 勾配と近接写像にのみ依存する1次元法を採用し、低精度で高速な解法を可能にする。
• 正確な勾配と近接写像の計算を統計推定器に置き換えることで確率的処理を導入し、1反復あたりのコストを削減する。
• 非同期で分散型の実装により、多数のプロセッサにスケーリング可能な並列・分散計算を適用する。
• 座標降下法と勾配法を用い、部分的な更新と最小限の通信で実行し、容易に並列化可能な実行を可能にする。
• 分散ネットワークにおける通信を、局所平均化とグラフラプラシアンに基づく収束解析でモデル化する。

実験結果

リサーチクエスチョン

• RQ1 1次元法は、次元が極めて大きなビッグデータ問題に、どのように効率的にスケーリングできるか？
• RQ2 部分的または近似的なデータのみを用いた場合に、確率的1次元法の収束特性はどのようになるか？
• RQ3 1次元法の並列・分散実装は、プロセッサ数の増加に伴い、どの程度ほぼ線形の高速化を達成できるか？
• RQ4 非同期的・分散型通信モデルは、大規模最適化における収束速度と解の品質にどのように影響するか？
• RQ5 ℓ1ノルムのような滑らかでない正則化子を含む複合モデルは、古典的最小二乗法に比べ、推定精度とスケーラビリティの面で優れていると期待できるか？

主な発見

• 確率的1次元法は、データのわずかに小さい部分しか調べないことで、良好な品質の解を得られ、顕著な加速が可能である。
• 確率的勾配法および座標降下法の非同期的・ロックフリー実装は、収束性を保ちつつ、マルチコアシステムで顕著な高速化を達成する。
• 確率的処理を用いた近接勾配法は、近似的なオракル情報と通信遅延が存在しても理論的収束性を維持する。
• 並列座標降下法は、目的関数が分解可能であれば、多数のプロセッサを用いてほぼ線形の高速化を達成できる。
• 局所平均化を用いた分散型勾配法は、中央集権型手法と同等の収束速度を達成するが、ネットワークのグラフラプラシアンに依存して劣化する。
• 確率的処理、1次元法、分散計算の組み合わせにより、従来の内点法では不可能なビッグデータ問題に対するスケーラブルな解決策が実現できる。