[論文レビュー] The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM

Damek Davis, Brent Edmunds+1 more|arXiv (Cornell University)|Jun 7, 2016

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本稿では、非凸・非滑らか最適化問題に対して、保証された収束性と複数のワーカーにおける線形スケーリングを達成する、新しい確率的非同期ブロック座標法SAPALMを提案する。収束速度は既存の最良の結果と一致し、行列因子分解タスクにおいて最先端の性能を示す。

ABSTRACT

We introduce the Stochastic Asynchronous Proximal Alternating Linearized Minimization (SAPALM) method, a block coordinate stochastic proximal-gradient method for solving nonconvex, nonsmooth optimization problems. SAPALM is the first asynchronous parallel optimization method that provably converges on a large class of nonconvex, nonsmooth problems. We prove that SAPALM matches the best known rates of convergence --- among synchronous or asynchronous methods --- on this problem class. We provide upper bounds on the number of workers for which we can expect to see a linear speedup, which match the best bounds known for less complex problems, and show that in practice SAPALM achieves this linear speedup. We demonstrate state-of-the-art performance on several matrix factorization problems.

研究の動機と目的

• 既存の手法が収束保証を持たない非凸・非滑らか最適化問題に対して、スケーラブルで非同期的な最適化手法を開発すること。
• この問題クラスにおいて、同期的および非同期的両手法の最良の既存結果と同等の収束速度を達成すること。
• 線形スケーリングが達成可能なワーカー数の理論的上限を提供すること。
• 実世界の行列因子分解問題における実用的効率性とスケーラビリティを示すこと。

提案手法

• SAPALMは、ノイズの多い勾配推定値を用いて変数をブロックごとに更新する確率的非同期ブロック座標プロキシメート・グラデント法である。
• 目的関数における非滑らか項を扱うために、交互に線形化された最小化戦略を採用する。
• 複数のワーカー間で独立的かつ非同期的に更新が可能であり、同期化のボトルネックを軽減する。
• 収束を保証するために、バックトラッキングラインサーチまたは固定ステップサイズを用いる。
• ワーカーからの遅延または順序が入れ替わった更新に対しても、収束保証を維持する。
• 標準的な仮定の下で、非凸・非滑らか問題に対する静止点への収束を理論的に確立する。

実験結果

リサーチクエスチョン

• RQ1 非同期的・確率的・ブロック座標法が、非凸・非滑らか最適化問題に対して保証された収束性を達成できるか？
• RQ2 理論的および実用的に線形スケーリングが達成可能なワーカー数の最大値は何か？
• RQ3 SAPALMの収束速度は、この問題クラスにおける既存の同期的および非同期的手法と比べてどうか？
• RQ4 SAPALMは、先行手法と比較して行列因子分解タスクで最先端の性能を達成できるか？
• RQ5 非同期設定において線形スケーリングを維持するためのワーカー数の理論的上限は何か？

主な発見

• SAPALMは、非凸・非滑らか最適化問題の広いクラスに対して、保証された収束性を達成する最初の非同期手法である。
• 同期的および非同期的両手法の最良の既存結果と同等の収束速度を達成する。
• 線形スケーリングが達成可能なワーカー数の理論的上限は、より単純な問題クラスの最良の既存上限と一致する。
• 実験的結果から、SAPALMは複数のワーカーにおいて実際の線形スケーリングを達成することが示された。
• SAPALMは、いくつかの行列因子分解ベンチマークで最先端の性能を示した。
• プロキシマル更新を用いて非滑らか項を効果的に扱いながら、非同期性下でも収束性を維持できる。