[論文レビュー] Coordinate Descent with Arbitrary Sampling I: Algorithms and Complexity

Zheng Qu, Peter Richtárik|arXiv (Cornell University)|Dec 27, 2014

Stochastic Gradient Optimization Techniques参考文献 27被引用数 33

ひとこと要約

本稿では、合成凸最適化問題を解くために任意のサンプリング分布（重要度サンプリングを含む）をサポートする統一的な確率的座標降下法ALPHAを提案する。既存のシリアル、並列、加速、分散バージョンに関する結果を統合・改善する複雑性解析を提供し、一般のサンプリングスキーム下で最適な収束レートを達成する。

ABSTRACT

We study the problem of minimizing the sum of a smooth convex function and a convex block-separable regularizer and propose a new randomized coordinate descent method, which we call ALPHA. Our method at every iteration updates a random subset of coordinates, following an arbitrary distribution. No coordinate descent methods capable to handle an arbitrary sampling have been studied in the literature before for this problem. ALPHA is a remarkably flexible algorithm: in special cases, it reduces to deterministic and randomized methods such as gradient descent, coordinate descent, parallel coordinate descent and distributed coordinate descent -- both in nonaccelerated and accelerated variants. The variants with arbitrary (or importance) sampling are new. We provide a complexity analysis of ALPHA, from which we deduce as a direct corollary complexity bounds for its many variants, all matching or improving best known bounds.

研究の動機と目的

• 合成凸最適化における任意のサンプリング分布を用いた座標降下法の理論的分析の不足を解決する。
• シリアル、並列、加速、分散の多様な座標降下法のバージョンを、一つのアルゴリズムフレームワークで統一する。
• 既存の特殊化された手法の最先端の境界と同等またはそれを上回る複雑性解析を提供する。
• 重要度サンプリングを座標降下法に組み込みつつ、理論的収束保証を維持できるようにする。
• 一般性と境界のタイトさを保ちつつ、広範な研究者にアクセス可能なように解析を簡素化する。

提案手法

• 任意の確率分布に従って各反復で座標のランダム部分集合を更新する確率的座標降下アルゴリズムALPHAを提案する。
• サンプリングされた座標が張るランダム部分空間における目的関数の滑らかさを捉える、新しい技術的仮定を導入する。
• 期待されるリャプノフ関数の減少をバウンディングするために三値推定技術を用い、任意のサンプリング下での収束解析を可能にする。
• 列挙列 $\theta_k$ を用いたモーメンタムに類似した更新戦略を採用し、加速された収束レートを達成する。
• 最適解への進捗を追跡する修正されたリャプノフ関数の期待値の再帰的関係を導出する。
• 二通りの $\theta_k$ の選択（定数および適応的（$O(1/k^2)$ レートに最適））の下で再帰を解析し、収束境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 任意のサンプリング分布下での座標降下法に対して、統一的な収束解析を開発できるか？
• RQ2 サンプリング分布の選択（重要度サンプリングを含む）が、座標降下法の収束レートにどのように影響するか？
• RQ3 任意のサンプリング、特に並列および分散設定下でも、加速された収束レート（$O(1/k^2)$）を達成できるか？
• RQ4 任意のサンプリングにおける合成凸最適化の収束を保証するための最小限の技術的仮定は何か？
• RQ5 収束境界のタイトさや一般性を損なわず、解析を簡素化できるか？

主な発見

• ALPHAは、任意のサンプリング下で非強凸問題に対して $O(1/k^2)$ の収束レートを達成し、既知の最良の加速レートと一致する。
• 複雑性解析により、シリアル、並列、分散、加速バージョンの既存の境界が統合・改善される。
• 定数 $\theta_k = \theta_0$ の場合、期待される非最適性は $O(1/(\theta_0 k))$ で減少し、既知の非加速レートと一致する。
• 適応的 $\theta_k$ の場合、期待される非最適性は $O(1/(\theta_0 k + 2)^2)$ で減少し、最適な加速レートを達成する。
• 収束保証に損なわれることなく、重要度サンプリングをサポートし、曲率の高い座標に対してより速い収束を可能にする。
• 解析が簡素化され統一されており、一般性とタイトさを保ちつつ、多様なサンプリングスキームにわたる広範な適用を可能にする。