[論文レビュー] Alternating Randomized Block Coordinate Descent

Jelena Diakonikolas, Lorenzo Orecchia|OpenBU (Boston University)|May 23, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用数 7

ひとこと要約

本稿では、1つのブロック（非滑らかである可能性がある）における正確な最適化と、他のブロックを確率的に選択した上で勾配ステップを交互に繰り返す、AR-BCDと呼ばれる新しいブロック座標降下法を提案する。この手法は、最も滑らかでないブロックの滑らかさに依存しない収束速度を達成し、2ブロックに限らない交替最小化の一般化を可能にするとともに、その加速版AAR-BCDにより、初めての加速された交替最小化アルゴリズムを実現する。

ABSTRACT

Block-coordinate descent algorithms and alternating minimization methods are fundamental optimization algorithms and an important primitive in large-scale optimization and machine learning. While various block-coordinate-descent-type methods have been studied extensively, only alternating minimization -- which applies to the setting of only two blocks -- is known to have convergence time that scales independently of the least smooth block. A natural question is then: is the setting of two blocks special? We show that the answer is "no" as long as the least smooth block can be optimized exactly -- an assumption that is also needed in the setting of alternating minimization. We do so by introducing a novel algorithm AR-BCD, whose convergence time scales independently of the least smooth (possibly non-smooth) block. The basic algorithm generalizes both alternating minimization and randomized block coordinate (gradient) descent, and we also provide its accelerated version -- AAR-BCD. As a special case of AAR-BCD, we obtain the first nontrivial accelerated alternating minimization algorithm.

研究の動機と目的

• 交替最小化の優れた収束スケーリング（最も滑らかでないブロックに依存しない）が2ブロックに限ったものであるのか、それともより多くのブロックに一般化可能であるかを解明すること。
• 正確な最適化が可能な場合に、あるブロックの滑らかさに依存しない収束速度を維持するブロック座標降下法を設計すること。
• 滑らかさの最も低いブロックに依存しないO(1/k²)の最適収束速度を達成する、そのような手法の加速版を開発すること。
• 確率的ブロック座標降下法と交替最小化を統合・一般化するとともに、加速を可能にする。

提案手法

• AR-BCDは、固定ブロックにおける正確な最小化と、残りのブロックから確率的に選択された1つのブロックにおける確率的勾配降下を交互に繰り返す。
• 勾配ステップのためのブロック選択確率は、ブロックの滑らかさパラメータに比例する。
• AAR-BCDは、Nesterov風のモーメンタムとブロック単位の更新戦略を用いるAR-BCDの加速版であり、O(1/k²)の収束速度を達成する。
• 解析は、Diakonikolas & Orecchia (2017) が提案した近似双対ギャップ技術を拡張し、簡潔かつ一般的な収束証明を可能にする。
• 本手法は、確率的ブロック座標降下法（RCDM）と交替最小化を一般化する：非滑らかブロックが存在しない場合、RCDMに還元される。2ブロックの場合、交替最小化に還元される。
• 加速手法では、非一様な滑らかさ分布における性能向上を図るため、サンプリング確率を√L_iに比例させる。

実験結果

リサーチクエスチョン

• RQ1 2ブロックに限らない問題においても、交替最小化が示す「最も滑らかでないブロックに依存しない収束スケーリング」が一般化可能か。
• RQ2 正確な最適化が可能な場合に、あるブロックの滑らかさに依存しない収束速度を維持するブロック座標降下法を設計可能か。
• RQ3 そのような手法の加速版が、最も滑らかでないブロックの滑らかさに依存しないO(1/k²)の最適収束速度を達成可能か。
• RQ4 正確な最小化が非滑らかブロックに適用可能な場合、既存の理論がそのような改善を予測しないにもかかわらず、提案手法が標準的なRCDMやC-BCDを上回るか。

主な発見

• AR-BCDは、正確に最小化されるブロックの滑らかさL_nに依存しない収束速度O(∑_{i=1}^{n-1} L_i / ε)を達成し、2ブロックに限らない交替最小化の一般化を実現する。
• AAR-BCDは、最も滑らかでないブロックの滑らかさに依存しないO(1/k²)の加速収束速度を達成し、初めての加速された交替最小化アルゴリズムを提供する。
• 非滑らかブロックが存在しない場合、AAR-BCDはブロック座標降下法で知られている最速の収束境界を回復し、Qu & Richtárik (2016)、Allen-Zhu et al. (2016)、Nesterov (2012) の結果と一致する。
• 実験結果では、滑らかさパラメータが顕著に非一様な場合、AR-BCDはRCDMおよびC-BCDを上回り、AAR-BCDは非一様なスケーリング（√L_iに比例）の下でAPCGおよびNU_ACDMを著しく上回る。
• 既存の理論的境界がそのような改善を予測しないにもかかわらず、AR-BCDは標準的なRCDMおよびC-BCDを実験的に上回る性能を示しており、より鋭い解析の可能性を示唆する。
• ブロックサイズが大きくなるとともに滑らかさの差が大きくなると、AAR-BCDは他の手法に比べて顕著な改善を示す。特に、√L_iに比例する非一様なサンプリングが行われる場合に顕著である。