[論文レビュー] Asynchronous Parallel Block-Coordinate Frank-Wolfe

Yuxiang Wang, Veeranjaneyulu Sadhanala+4 more|arXiv (Cornell University)|Sep 22, 2014

Stochastic Gradient Optimization Techniques参考文献 41被引用数 5

ひとこと要約

本稿では、ブロック分離可能な制約を伴う滑らかな凸最適化のための非同期並列ブロック座標フレンク・ウルフアルゴリズムを提案する。この手法により、ミニバッチ内での耐障害性・遅延耐性の高い更新が可能となり、同期的BCFWに比べて理論的スピードアップを達成する。特に大きなミニバッチサイズにおいて顕著な性能向上を示し、構造的SVMにおいて顕著な実験的利得を示した。

ABSTRACT

We develop mini-batched parallel Frank-Wolfe (conditional gradient) methods for smooth convex optimization subject to block-separable constraints. Our work includes the basic (batch) Frank-Wolfe algorithm as well as the recently proposed Block-Coordinate Frank-Wolfe (BCFW) method\citep{lacoste2012block} as special cases. Our algorithm permits asynchronous updates within the minibatch, and is robust to stragglers and faulty worker threads. Our analysis reveals how the potential speedups over BCFW depend on the minibatch size and how one can provably obtain large problem dependent speedups. We present several experiments to indicate empirical behavior of our methods, obtaining significant speedups over competing state-of-the-art (and synchronous) methods on structural SVMs.

研究の動機と目的

• 構造的制約を伴う大規模機械学習におけるスケーラブルかつ並列化された最適化のニーズに対応する。
• 同期的手法の制限を克服し、ブロック座標フレンク・ウルフアルゴリズムにおける非同期更新を可能にする。
• 分散環境下での遅延ワーカー（ストラグル）や故障したスレッドに対しても耐性を確保する。
• ミニバッチサイズおよび問題構造に依存するスピードアップの理論的保証を提供する。
• 実世界の学習タスクにおいて、最先端の同期的手法に比べて実用的な効率向上を達成する。

提案手法

• 標準的フレンク・ウルフとブロック座標フレンク・ウルフ（BCFW）の両方を一般化するミニバッチ並列フレンク・ウルフフレームワークを設計する。
• 各ミニバッチ内での非同期更新を許容し、ワーカースレッドを同期バリアから分離する。
• 非同期性およびワーカーの遅延や障害が生じても、収束保証を維持する。
• ブロック分離可能な制約を用いて、変数ブロック間での分解と並列化を可能にする。
• 条件付き勾配ステップと非同期ブロック更新を統合し、緩い調整条件下でも収束を維持する。
• 問題に依存する構造を活用して、同期的BCFWに比べて理論的スピードアップの境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標フレンク・ウルフにおける非同期更新は、同期的手法に比べて収束速度をどの程度向上させるか？
• RQ2 ミニバッチサイズは、同期的BCFWに対する理論的および実験的スピードアップにどのように影響するか？
• RQ3 本手法は、遅延ワーカーや故障したスレッドが存在する状況でも収束性と耐性を維持できるか？
• RQ4 問題構造と非同期設定における達成可能なスピードアップの関係は何か？
• RQ5 本手法は、構造的SVMのような実世界の学習タスクにおいて実際にはどの程度の性能を示すか？

主な発見

• 提案された非同期並列フレンク・ウルフ手法は、構造的SVMにおいて最先端の同期的手法に比べて顕著な実験的スピードアップを達成した。
• 理論的分析により、スピードアップがミニバッチサイズおよび問題依存の曲率に比例することが示され、構造的問題において大きな利得が得られることを裏付けた。
• 本手法はストラグルや故障したワーカースレッドに対しても耐性を示し、同期のボトルネックなしに収束を維持した。
• 本フレームワークは、標準的フレンク・ウルフとBCFWの両方を一般化し、並列かつ非同期な環境下で両者の利点を統合した。
• 実験結果により、解の品質を保持しつつ、トレーニング時間において同期ベースラインを上回ることを確認した。