[論文レビュー] On the Complexity Analysis of Randomized Block-Coordinate Descent Methods

Zhaosong Lu, Lin Xiao|arXiv (Cornell University)|May 21, 2013

Sparse and Compressive Sensing Techniques参考文献 20被引用数 23

ひとこと要約

本稿では、合成凸最適化のための確率的ブロック座標降下（RBCD）法の洗練された複雑性解析を提示する。Nesterovの技法を拡張することで、期待値収束速度と高確率的反復複雑性を改善した。加速RBCDのための新規な確率的推定列技術を導入し、先行研究と比較してより緊密な収束境界を達成した。特に、高確率的複雑性が $O(n/\theta)$ だけ改善され、ここで $ heta$ は目標精度、$n$ はブロック数である。

ABSTRACT

In this paper we analyze the randomized block-coordinate descent (RBCD) methods proposed in [8,11] for minimizing the sum of a smooth convex function and a block-separable convex function. In particular, we extend Nesterov's technique developed in [8] for analyzing the RBCD method for minimizing a smooth convex function over a block-separable closed convex set to the aforementioned more general problem and obtain a sharper expected-value type of convergence rate than the one implied in [11]. Also, we obtain a better high-probability type of iteration complexity, which improves upon the one in [11] by at least the amount $O(n/ε)$, where $ε$ is the target solution accuracy and $n$ is the number of problem blocks. In addition, for unconstrained smooth convex minimization, we develop a new technique called {\it randomized estimate sequence} to analyze the accelerated RBCD method proposed by Nesterov [11] and establish a sharper expected-value type of convergence rate than the one given in [11].

研究の動機と目的

• スムーズな凸関数とブロック分離可能な凸関数の和を最小化するための確率的ブロック座標降下（RBCD）法の期待値収束速度を改善すること。
• RBCDの高確率的反復複雑性をより緊密に特定し、既存の境界を $O(n/\epsilon)$ だけ改善すること。ここで $\epsilon$ は目標精度、$n$ はブロック数である。
• Nesterovの加速RBCD技法を、新しい確率的推定列フレームワークを用いて合成問題に拡張すること。
• 一般のブロック分離構造の下で、非加速および加速RBCDの両方の収束解析を統一的かつ鋭くすること。
• RBCDにおける均一選択と非均一選択戦略の間の収束速度のタイトネスのギャップを解消すること。特に、指示関数や $\ell_1$-正則化を含む問題において。

提案手法

• スムーズな凸最小化をブロック分離集合に限定したNesterovの解析技法を、スムーズ関数とブロック分離正則化子を含む合成問題に拡張する。
• 加速RBCDを解析するための確率的推定列フレームワークを導入し、より緊密な期待値収束速度境界を可能にする。
• 各反復でブロックを一様に確率的に選択し、部分勾配とリプシッツ定数 $L_i$ を含むプロキシマル部分問題によって更新する確率的更新ルールを用いる。
• 条件付き期待値と凸性を活用して、最適性ギャップの減衰を制限するための期待双対ギャップ $\phi_k^\star$ の再帰的関係を導出する。
• モーメンタムを制御し、誤差項の幾何的減衰率を導出するため、$\alpha_k^2 = \gamma_{k+1}$ を満たす列 $\gamma_k$ を適用する。
• 帰納法と $\|d(y^k)\|_L^2$ および $\langle \nabla f(y^k), v^k - y^k \rangle$ に関する不等式を用いて、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 Nesterovの加速RBCD技法をブロック分離正則化子を含む合成問題に拡張可能か？また、達成可能な収束速度は何か？
• RQ2 合成設定における確率的ブロック座標降下の、最も鋭い期待値収束速度は何か？
• RQ3 RBCDの高確率的反復複雑性は、既存の境界と比較してどの程度か？$O(n/\epsilon)$ だけ改善可能か？
• RQ4 非加速および加速RBCDを統一する一つの推定列構築に基づく分析フレームワークを構築可能か？
• RQ5 なぜ均一選択が、適応的重み付けがないにもかかわらず一部のケースでより良い収束をもたらすのか？理論的説明は可能か？

主な発見

• 本稿では、RichtárikとTakáč（2011）が示唆したよりも、合成問題におけるRBCDの期待値収束速度がより鋭いものであることを確立した。収束速度はブロック構造に関連する要因で改善された。
• 高確率的反復複雑性は、RichtárikとTakáč（2011）の境界と比較して、少なくとも $O(n/\epsilon)$ だけ改善された。ここで $\epsilon$ は目標精度、$n$ はブロック数である。
• 制約なしのスムーズな凸最小化において、確率的推定列技術により、Nesterov（2012）が提示したものよりも緊密な期待値収束速度が得られ、条件数への依存性が改善された。
• 収束速度は $\lambda_k \leq \left(\frac{n}{n + k\sqrt{\gamma_0}/2}\right)^2$ と減衰し、改善された定数を伴う非線形収束速度を示す。
• 適切なパrameterizationのもとで、すべての $k$ に対して $\gamma_k \geq \mu$ が成り立つことが解析により証明され、モーメンタム列の安定性と収束が保証された。
• 期待双対ギャップの境界は、$\mathbf{E}_{\xi_{k-1}}[f(x^k) - f^\star] \leq \lambda_k (f(x^0) - f^\star + \frac{\gamma_0}{2}\|x^0 - x^\star\|_L^2)$ を満たし、$\lambda_k$ は幾何的に減衰する。