[論文レビュー] Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|Sep 9, 2013

Stochastic Gradient Optimization Techniques参考文献 32被引用数 10

ひとこと要約

本稿では、スパムスモーズ・ミラー降下法とブロック座標分解を組み合わせることで、大規模な非滑らかおよび確率的最適化における1イテレーションあたりの計算コストを低減する、新しいアルゴリズムである確率的ブロックミラー降下法（SBMD）を提案する。収束速度および計算複雑度の境界を確立し、標準的なミラー降下法と比較して、特にブロック構造を持つ高次元問題において、より低い計算コストで最適な反復複雑度を達成できることを示している。

ABSTRACT

In this paper, we present a new stochastic algorithm, namely the stochastic block mirror descent (SBMD) method for solving large-scale nonsmooth and stochastic optimization problems. The basic idea of this algorithm is to incorporate the block-coordinate decomposition and an incremental block averaging scheme into the classic (stochastic) mirror-descent method, in order to significantly reduce the cost per iteration of the latter algorithm. We establish the rate of convergence of the SBMD method along with its associated large-deviation results for solving general nonsmooth and stochastic optimization problems. We also introduce different variants of this method and establish their rate of convergence for solving strongly convex, smooth, and composite optimization problems, as well as certain nonconvex optimization problems. To the best of our knowledge, all these developments related to the SBMD methods are new in the stochastic optimization literature. Moreover, some of our results also seem to be new for block coordinate descent methods for deterministic optimization.

研究の動機と目的

• 大規模な確率的最適化における従来の確率的およびブロック座標法の高い計算コストとメモリ負荷を軽減すること。
• ブロック分解と段階的平均化を活用して、1イテレーションあたりの計算コストを低減しながら収束保証を維持する確率的アルゴリズムを開発すること。
• 非滑らか、滑らか、強く凸、合成的、非凸な確率的最適化問題における収束速度および複雑度境界を確立すること。
• ミラー降下法の適用範囲を確率的目的関数を持つブロック構造問題に拡張すること。
• 非滑らかおよび非凸な確率的合成問題における大偏差行動および収束に関する新しい理論的結果を提供すること。

提案手法

• ブロック座標降下法とミラー降下法、および段階的ブロック平均化を統合することで、確率的ブロックミラー降下法（SBMD）を提案する。
• 1イテレーションごとに一様確率でランダムに選択された1つのブロック変数を更新する。
• ミニバッチ法を用いて部分勾配を推定することで、確率的勾配の分散を低減する。
• 最終出力解を計算するために再帰的平均化スキームを採用し、収束安定性を向上させる。
• 非滑らかおよび合成的目的関数を扱うために、Bregman発散を用いた類似プロキシマル更新を適用する。
• 非凸ケースでは、段階的平均化の代わりにランダム化スキームを導入し、出力を計算する。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標分解を確率的ミラー降下法と効果的に組み合わせることで、大規模な確率的最適化における1イテレーションあたりの計算コストを低減できるか？
• RQ2 SBMDの非滑らか、滑らか、強く凸な確率的設定における収束速度および反復複雑度は、どのように確立できるか？
• RQ3 SBMDは非凸な確率的合成最適化においてどのように動作するか？また、どのような複雑度境界を導出できるか？
• RQ4 段階的平均化スキームを非凸問題における収束改善のためのランダム化スキームに置き換えられるか？
• RQ5 ブロック構造とミニバッチサンプリングの影響は、SBMDの全体的なサンプル複雑度にどのような影響を与えるか？

主な発見

• 一般の非滑らか確率的最適化問題において、SBMDは $\mathcal{O}(b\bar{L}[φ(x_1) - \phi^*]/\epsilon)$ の反復複雑度を達成し、$\epsilon$-最適解を求める。
• ミニバッチサンプリングを用いた確率的ケースでは、必要な総サンプル数が $\mathcal{O}(b^2\bar{L}\sigma^2[φ(x_1) - \phi^*]/\epsilon^2)$ で抑えられ、ブロック分解なしの最先端手法と同等の性能を示す。
• 期待される最適性ギャップのノルムに対する収束速度は $\mathcal{O}(1/N)$ であり、定数因子はブロック構造および問題の条件数に依存する。
• 大偏差結果を確立し、勾配ノイズおよびブロック選択に関するきわめて弱い仮定のもとで高確率収束を示している。
• 解析を非凸な確率的合成問題に拡張し、ランダム出力スキームを用いて最悪ケースの複雑度境界を提供している。
• 理論的結果は、非滑らかおよび非凸な合成問題における決定的ブロック座標降下法に対しても新規であり、特に大偏差解析の観点から新しい知見を提供している。