[論文レビュー] The Asynchronous PALM Algorithm for Nonsmooth Nonconvex Problems

Damek Davis|arXiv (Cornell University)|Apr 2, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用数 25

ひとこと要約

本稿では、非滑らかで非凸な最適化問題を解くためのProximal Alternating Linearized Minimization (PALM)法の新しい拡張として、非同期PALMアルゴリズムを提案する。同期のない座標ブロック間での非同期かつ並列更新を可能にすることで、計算コア数に比例した線形スループット向上を達成する。主な理論的貢献は、反復点のクラスターポイントが停留点であることを証明し、Kurdyka-Łojasiewicz (KL) 性質のもとでグローバル収束を示し、特別な場合における収束速度解析を実施した点であり、その有効性は一般化低ランクモデル（GLRMs）の実験で検証された。

ABSTRACT

We introduce the Asynchronous PALM algorithm, a new extension of the Proximal Alternating Linearized Minimization (PALM) algorithm for solving nonsmooth, nonconvex optimization problems. Like the PALM algorithm, each step of the Asynchronous PALM algorithm updates a single block of coordinates; but unlike the PALM algorithm, the Asynchronous PALM algorithm eliminates the need for sequential updates that occur one after the other. Instead, our new algorithm allows each of the coordinate blocks to be updated asynchronously and in any order, which means that any number of computing cores can compute updates in parallel without synchronizing their computations. In practice, this asynchronization strategy often leads to speedups that increase linearly with the number of computing cores. We introduce two variants of the Asynchronous PALM algorithm, one stochastic and one deterministic. In the stochastic extit{and} deterministic cases, we show that cluster points of the algorithm are stationary points. In the deterministic case, we show that the algorithm converges globally whenever the Kurdyka-Łojasiewicz property holds for a function closely related to the objective function, and we derive its convergence rate in a common special case. Finally, we provide a concrete case in which our assumptions hold.

研究の動機と目的

• 非滑らかで非凸な問題に対するPALMアルゴリズムにおける逐次的更新の計算ボトルネックを解消すること。
• 座標更新の同期制約を排除することで、拡張可能な並列最適化を実現すること。
• 従来の研究より広い問題クラスにおいて、非同期更新の理論的収束保証を提供すること。
• 第一階層法の適用範囲を、一般化低ランクモデル（GLRMs）のような複雑なモデルへ拡張すること。
• 関連関数がKurdyka-Łojasiewicz (KL) 性質を満たす場合に、グローバル収束を保証する。

提案手法

• 非同期PALMアルゴリズムの確率的および決定的バージョンの2通りを提案する。
• 各座標ブロックを、同期のないプロキシ・勾配ステップを用いて独立して非同期に更新可能とする。
• 更新には共有グローバルメモリを用い、計算コア間の調整や同期を一切行わない。
• 非同期更新誤差を吸収する減少関数（Lyapunov関数）を導入し、収束解析において非増加な目的関数の代わりに用いる。
• 非滑らかKL性質を活用して収束を証明し、元のPALM論文の証明フレームワークを適応する。
• KL性質のもとでの収束速度を解析し、特に目的関数が指数 $ \in (0, 1/2] $ のKL条件を満たす一般的な特殊ケースにおいて分析する。

実験結果

リサーチクエスチョン

• RQ1 PALMアルゴリズムにおける非同期かつ並列的更新が、非滑らかで非凸な問題に対しても収束を維持できるか。
• RQ2 目的関数が必ずしも減少しない場合に、非同期更新に対してどのような理論的保証を設定できるか。
• RQ3 非同期PALMアルゴリズムが、どのような条件下でグローバルに停留点に収束するか。
• RQ4 行列分解やGLRMsのような実用的で大規模な問題において、アルゴリズムはどのように性能を発揮するか。
• RQ5 Kurdyka-Łojasiewicz (KL) 性質と半代数的性が、非同期設定において収束を保証するのにどの程度有効か。

主な発見

• 確率的および決定的両バージョンの非同期PALM反復点のクラスターポイントは、いずれも停留点である。
• 決定的ケースにおいて、目的関数に密接に関連する関数がKurdyka-Łojasiewicz (KL) 性質を満たす限り、アルゴリズムはグローバルに停留点に収束する。
• KL指数が $ (0, 1/2] $ の一般的な特殊ケースにおいて、収束速度 $ O(1/k) $ が確立された。
• 非同期性と同期の不在により、計算コア数に比例した線形スループット向上が達成された。
• 非滑らかで非凸な最適化問題として、一般化低ランクモデル（GLRMs）を含む具体的な問題において、収束理論の仮定が満たされている。
• GLRMフレームワークは、強凸性、半代数的性、$ \nabla f $ のリプシッツ連続性という仮定を満たす豊富な問題クラスを提供し、アルゴリズムの実用的妥当性を裏付けた。