[論文レビュー] On Optimal Probabilities in Stochastic Coordinate Descent Methods

Peter Richtárik, Martin Takáč|arXiv (Cornell University)|Oct 13, 2013

Stochastic Gradient Optimization Techniques参考文献 23被引用数 24

ひとこと要約

この論文では、収束を高速化するために非一様確率を用いて座標更新を選択する非一様な確率的座標降下法であるNSyncを紹介する。これらの確率とステップサイズパラメータを最適化することで、一様および完全並列バージョンよりも高速な収束を達成し、理論的にも、最適確率で1つの座標を更新する方法が、一度にすべての座標を更新する方法を上回ることを示している。

ABSTRACT

We propose and analyze a new parallel coordinate descent method---`NSync---in which at each iteration a random subset of coordinates is updated, in parallel, allowing for the subsets to be chosen non-uniformly. We derive convergence rates under a strong convexity assumption, and comment on how to assign probabilities to the sets to optimize the bound. The complexity and practical performance of the method can outperform its uniform variant by an order of magnitude. Surprisingly, the strategy of updating a single randomly selected coordinate per iteration---with optimal probabilities---may require less iterations, both in theory and practice, than the strategy of updating all coordinates at every iteration.

研究の動機と目的

• 一様なバージョンよりも収束速度を向上させる非一様並列座標降下法の開発。
• 強い凸性および非一様サンプリングの仮定の下で、提案手法の収束速度の導出。
• 収束複雑度を最小化する座標選択の最適確率分布の特定。
• 理論的および実験的に、最適確率を用いた1座標更新が、全座標同時更新を上回ることの証明。

提案手法

• NSyncは各反復で座標のランダムな部分集合を並列更新するために選択し、座標の重要度に基づいて非一様確率を割り当てる。
• 更新後の期待関数増加を制限するために、非一様期待分離過近似（ESO）条件を用いる。
• 重み付きノルムにおける強い凸性の下で収束を分析し、反復複雑度の上限を導出する。
• 収束速度を支配する条件数Λを最小化することで最適確率を導出し、並列ケースでは線形計画法を用いる。
• ステップサイズパラメータw_iはw_i = θ(L_i + v_i)として選ばれ、θはサンプリング構造およびτ-ニースサンプリングの性質に依存する。
• この手法は従来の一様および逐次的手法を一般化し、座標部分集合の任意の非一様サンプリングを許容する。

実験結果

リサーチクエスチョン

• RQ1 確率的座標降下法において、座標部分集合の非一様サンプリングが一様サンプリングよりも収束を速くできるか？
• RQ2 最適確率を用いて1つの座標のみを1反復ごとに更新する手法が、一度にすべての座標を更新する手法を上回ることは可能か？
• RQ3 並列確率的座標降下法の収束複雑度を最小化する座標部分集合への確率の最適割り当ては何か？
• RQ4 NSyncの収束速度は、サンプリング確率およびステップサイズパラメータの選択にどのように依存するか？
• RQ5 並列設定において、確率分布に対して線形計画法の定式化により理論的収束上限を最適化できるか？

主な発見

• 1つの座標を1反復ごとに更新する最適逐次手法は、座標数が少ないにもかかわらず、完全並列手法を上回る収束速度を示す。
• NSyncの収束複雑度は条件数Λ = max_i (w_i / (p_i v_i)) によって支配され、Λを最小化することで最も速い収束速度が達成される。
• 逐次ケースでは最適確率ベクトルはp_i^* = (L_i + v_i)/v_i / sum_j (L_j + v_j)/v_j であり、複雑度はΛ_OS = n + sum_i L_i/v_i となる。
• 並列ケースでは、c個の異なるサンプリング集合を持つ場合、c+1変数および2n+1制約の線形計画法により最適確率が計算可能である。
• 実験結果により、最適逐次手法が、一様逐次および完全並列バージョンを実際の応用においても上回ることを確認した。特に、座標のリプシッツ定数が著しく異なる場合に顕著である。
• L_iおよびv_iの過小・過大推定に対してもロバストであるが、推定誤差が大きくなるほど性能への感受性が高まる。