[論文レビュー] Flexible Parallel Algorithms for Big Data Optimization

Francisco Facchinei, Simone Sagratella+1 more|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 24被引用数 10

ひとこと要約

本稿では、滑らかで非凸な関数とブロック分離可能な非滑らか凸正則化項を含む大規模データ問題（例：Lasso やスパースロジスティック回帰）に対して、柔軟で並列処理可能な最適化フレームワークを提案する。この手法は、完全にジャコビ的から完全にガウス＝ザイデル的まで、任意の並列度をサポートするが、非凸な目的関数および不正確な部分問題解を許容しても、弱い条件下でグローバル収束を保証する。

ABSTRACT

We propose a decomposition framework for the parallel optimization of the sum of a differentiable function and a (block) separable nonsmooth, convex one. The latter term is typically used to enforce structure in the solution as, for example, in Lasso problems. Our framework is very flexible and includes both fully parallel Jacobi schemes and Gauss-Seidel (Southwell-type) ones, as well as virtually all possibilities in between (e.g., gradient- or Newton-type methods) with only a subset of variables updated at each iteration. Our theoretical convergence results improve on existing ones, and numerical results show that the new method compares favorably to existing algorithms.

研究の動機と目的

• 非滑らか正則化項を伴う大規模最適化問題に対して、柔軟かつ収束保証のある並列アルゴリズムが不足しているという問題に対処する。
• 完全に並列なジャコビスキームから順次的なガウス＝ザイデル更新までをカバーする統一フレームワークを実現する。
• 非凸な滑らか成分と不正確な部分問題解を扱いながらも収束性を維持する。
• ブロック座標降下法における収束速度と理論的保証を、既存の手法を上回る。
• Lasso やグループLasso、スパースロジスティック回帰、行列／テンソル因子分解などの大規模データ応用にスケーラブルな解決策を提供する。

提案手法

• 変数空間をブロックに分割し、各反復で一部のブロックを更新する分解フレームワークを提案する。
• 勾配型、ニュートン型、ガウス＝ザイデル型の更新を統合する一般化された更新ルールを導入し、一つのフレームワークに統合する。
• 誤差バウンド $\varepsilon_i^k$ を用いて部分問題の不正確解を導入し、計算負荷を抑えた実装を可能にする。
• リャプノフ型関数と近接写像 $\widehat{\mathbf{x}}(\mathbf{x}^k)$ の変化に関する再帰的バウンドを用いて収束を確立する。
• 勾配 $\nabla F$ のリプシッツ連続性と $G$ の局所的リプシッツ連続性を用いて収束条件を導出し、誤差が消えるときの $G$ のグローバルリプシッツ連続性の必要性を回避する。
• 弱い仮定のもとで、反復列 ${\mathbf{x}^k}$ の任意の極限点が元の問題の停留点であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 非滑らか正則化項を伴う大規模最適化問題において、完全に並列なジャコビ法と順次的ガウス＝ザイデル法を統合する単一のアルゴリズムフレームワークは可能か？
• RQ2 滑らか成分 $F$ が非凸であり、かつ部分問題が不正確に解かれる状況下でも、提案フレームワークはグローバル収束を保つのか？
• RQ3 並列度や不正確性の程度が異なる状況下で、この手法の理論的収束速度はいかほどか？
• RQ4 Lasso やグループLasso、スパースロジスティック回帰といった代表的な大規模データ問題に、証明可能な収束性を伴って適用可能か？
• RQ5 確率的および決定的ブロック座標降下法と比較して、収束保証および柔軟性の面で本手法はどのように差をつけるか？

主な発見

• 提案フレームワークは、非凸な $F$ および非滑らかでブロック分離可能な $G$ に対しても、不正確な部分問題解を許容しながらもグローバル収束を達成する。
• 特に、誤差が消えるときの $G$ のグローバルリプシッツ連続性の必要性を回避するなど、先行研究より弱い仮定のもとで収束を確立する。
• 完全に並列（ジャコビ）と順次的（ガウス＝ザイデル）の両スケームが、同一の条件下で収束する特殊ケースとして含まれる。
• 数値実験の結果、大規模問題における収束速度とスケーラビリティの面で、既存のアルゴリズムと比較して優れた性能を示す。
• 同じアルゴリズム的構造内に勾配型およびニュートン型の更新を統合でき、問題固有の特徴に適応可能である。
• 系列 $\{V(\mathbf{x}^k)\}$ が収束するが $\sum \gamma^t$ が消えないものと仮定すると矛盾が生じることを示し、ステップ長が最終的に縮小することを証明することで、停留点への収束を保証する。