[論文レビュー] Parallel and Distributed Block-Coordinate Frank-Wolfe Algorithms

Yu-Xiang Wang, Veeranjaneyulu Sadhanala+4 more|arXiv (Cornell University)|Sep 22, 2014

Stochastic Gradient Optimization Techniques参考文献 41被引用数 32

ひとこと要約

本稿では、ブロック分離可能な制約下での大規模最適化のための非同期的・並列的・分散型ブロック座標フランク・ウルフアルゴリズム（Ap-BCFW）を提案する。非同期更新と期待される遅延に弱い依存性を活用することで、特に構造的SVMおよびグループファーストラススス問題において、同期的および逐次的バージョンよりも顕著な高速化を達成し、実用的条件下で理論的収束保証を有する。

ABSTRACT

We develop parallel and distributed Frank-Wolfe algorithms; the former on shared memory machines with mini-batching, and the latter in a delayed update framework. Whenever possible, we perform computations asynchronously, which helps attain speedups on multicore machines as well as in distributed environments. Moreover, instead of worst-case bounded delays, our methods only depend (mildly) on \emph{expected} delays, allowing them to be robust to stragglers and faulty worker threads. Our algorithms assume block-separable constraints, and subsume the recent Block-Coordinate Frank-Wolfe (BCFW) method~\citep{lacoste2013block}. Our analysis reveals problem-dependent quantities that govern the speedups of our methods over BCFW. We present experiments on structural SVM and Group Fused Lasso, obtaining significant speedups over competing state-of-the-art (and synchronous) methods.

研究の動機と目的

• 大規模最適化のための、スケーラブルで並列的かつ分散型のフランク・ウルフアルゴリズムの不足を補う。
• 非同期的・ミニバッチ更新をサポートすることで、共有メモリおよび分散システム上での効率的計算を可能にする。
• 逐次的ブロック座標フランク・ウルフ（BCFW）の制限を克服し、複数のコアまたはノードにわたる真の並列性を実現する。
• 遅延の最悪ケースではなく期待値に基づく依存性により、遅延者や故障したワーカーに対する耐性を高める。
• 遅延と問題構造に関する弱い仮定の下で、プライマルおよびプライマル・デュアル目的関数の理論的収束保証を提供する。

提案手法

• 非同期更新とミニバッチ処理をサポートする並列的・分散型ブロック座標フランク・ウルフアルゴリズムであるAp-BCFWを提案する。
• 各ブロックごとに線形オракルを用いることで、高価な射影を回避し、射影が実行不可能な問題に対してもスケーラビリティを確保する。
• 非同期性および無限大の遅延が許容される状況下でも収束を保証するように、慎重に選ばれたステップサイズを導入する。
• 問題依存の定数（有界性定数 $ C_f^\tau $ および制約集合に関連するノルム）を用いて収束を分析する。
• Lacoste-Julienら [24] の収束フレームワークを、非同期更新およびミニバッチ処理に対応するように適応する。
• 最悪ケースのバウンドではなく、期待される遅延のバウンドを活用することで、分散環境における耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非同期性下でも収束保証を維持しつつ、フランク・ウルフ法を効果的に並列化および分散化できるか？
• RQ2 ミニバッチ処理と非同期更新を用いることで、ブロック座標フランク・ウルフ法の収束速度と遅延者への耐性にどのような影響を与えるか？
• RQ3 Ap-BCFWの高速化を支配する問題依存の量は何であるか？
• RQ4 同一の仮定下で、Ap-BCFWは同期的および並列的ブロック座標勾配降下法よりも理論的に速やかに収束できるか？
• RQ5 どのような条件下で、ミニバッチ処理がブロック座標フランク・ウルフ法の収束速度を桁違いに改善するか？

主な発見

• Ap-BCFWは、最先端の同期的手法と比較して、構造的SVM問題において数倍の高速化を達成する。
• 最悪ケースのバウンドではなく期待される遅延に依存するため、遅延者や故障したワーカースレッドに対しても耐性を示す。
• 構造的SVMでは、標準的な仮定の下で、ブロック数 $ n $ に依存せずに収束速度が $ O(R^2/\lambda k) $ のままである。
• 理論的分析により、Ap-BCFWは並列ブロック座標勾配降下（P-BCD）と同等の $ O(1/k) $ の収束速度を有することが示され、かつ線形オーケストラルがより単純である。
• 好都合な状況では、ミニバッチ処理により収束が桁違いに改善され、特に効率的な線形オーケストラル計算が可能な問題構造において顕著である。
• この手法はBCFWを一般化しており、1回の反復で1つのブロックのみが更新される特殊ケースにおいて、元のBCFWに還元される。