[論文レビュー] Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle

Pavel Dvurechensky, Alexander Gasnikov|arXiv (Cornell University)|Nov 11, 2014

Stochastic Gradient Optimization Techniques参考文献 14被引用数 12

ひとこと要約

本稿は、不正確な確率的オラクルを伴う凸合成最適化のための確率的中間勾配法（SIGM）を導入し、非ユークリッド的設定を可能にするとともに、収束速度と誤差蓄積のバランスをとる。平均収束速度は $ O\left(\frac{LR^2}{k^p} + \frac{\sigma R}{\sqrt{k}} + k^{p-1}\delta \right) $ を達成し、定数要因を除いて下界の複雑度と一致する。

ABSTRACT

In this paper we introduce new methods for convex optimization problems with inexact stochastic oracle. First method is an extension of the intermediate gradient method proposed by Devolder, Glineur and Nesterov for problems with inexact oracle. Our new method can be applied to the problems with composite structure, stochastic inexact oracle and allows using non-Euclidean setup. We prove estimates for mean rate of convergence and probabilities of large deviations from this rate. Also we introduce two modifications of this method for strongly convex problems. For the first modification we prove mean rate of convergence estimates and for the second we prove estimates for large deviations from the mean rate of convergence. All the rates give the complexity estimates for proposed methods which up to multiplicative constant coincide with lower complexity bound for the considered class of convex composite optimization problems with stochastic inexact oracle.

研究の動機と目的

• オラクル情報に確率的および決定的誤差が共に存在する大規模凸合成最適化問題を解くという課題に対処すること。
• 中間勾配法を非ユークリッド的設定における不正確な確率的オラクルに対応できるように拡張すること。
• 一般のノルムおよび近接設定下で、提案手法の収束速度の推定と大偏差の上限を提供すること。
• 強い凸性を示す問題に対して、収束性と偏差制御を向上させた特別な変種を設計すること。
• 考察された問題クラスの理論的下界と一致する複雑度の上限を達成すること。

提案手法

• $(\delta, L)$-オラクルの確率的近似を用いる、中間勾配法の確率的変種（SIGM）を提案する。ここには、確率的ノイズ（$\sigma$）と決定的誤差（$\delta$）が含まれる。
• 強い凸性と連続的微分可能であるバリア関数 $d(x)$ を用いた一般化された近接設定を導入し、ブレグマン発散とノルム構造を定義する。
• 3段階の反復スキームを用いる：(1) 確率的勾配推定値を計算し、(2) ブレグマン発散を用いて近接部分問題を解き、(3) 凸結合による反復値の更新を行う。
• 収束速度と誤差蓄積のバランスをとるために、$p \in [1,2]$ のパラメータを導入し、$\frac{LR^2}{k^p}$ と $k^{p-1}\delta$ の間で適応的トレードオフを可能にする。
• 確率的オラクルに軽尾仮定を適用し、誤差 $\varphi(y_k) - \varphi^*$ の高確率大偏差上限を導出する。
• 強い凸性問題のためのリスタートに基づく加速手法（アルゴリズム3）を適用し、高確率で $\mathcal{O}(e^{-k})$ の収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 中間勾配法は、非ユークリッド的空間において不正確な確率的オラクルを扱えるように拡張可能であり、最適な収束速度を維持できるか？
• RQ2 確率的ノイズ（$\sigma$）、決定的誤差（$\delta$）、および曲率（$L$）の相互作用が収束性と誤差蓄積にどのように影響するか？
• RQ3 確率的および決定的オラクル誤差が共に存在する状況において、収束速度と誤差蓄積の最適なトレードオフは何か？
• RQ4 やや弱い仮定の下で、確率的中間勾配法の誤差に対する高確率大偏差上限を導出可能か？
• RQ5 強い凸性問題に適応するには、どのようにして指数的収束（高確率で）を達成できるか？

主な発見

• 確率的中間勾配法（SIGM）は、平均収束速度 $ O\left(\frac{LR^2}{k^p} + \frac{\sigma R}{\sqrt{k}} + k^{p-1}\delta \right) $ を達成し、定数要因を除いて下界の複雑度と一致する。
• 確率的オラクルに軽尾仮定を適用した場合、誤差の高確率大偏差上限が得られ、平均レートと同様の漸近的依存性（$k$ に関する依存性）を示す。
• 強い凸性問題に対しては、加速変種（アルゴリズム2）が期待値において指数的収束 $ \mathcal{O}(e^{-k}) $ を達成し、下界と一致する複雑度上限を満たす。
• リスタート付きの手法（アルゴリズム3）は、$(\varepsilon, \Lambda)$-解を保証し、$ \mathbb{P}(\varphi(\hat{u}) - \varphi^* > \varepsilon) \leq \Lambda $ を満たし、強い凸設定における最適な複雑度を達成する。
• 一般化された近接関数とノルムを用いることで、幾何的柔軟性が確保され、単形体などの構造的ドメイン上での効率的実装が可能になる。
• $(\delta, L)$-オラクルを用いることで、非滑らか問題に対応でき、 Hölder連続な部分勾配を有するLASSOやその他の合成問題への応用が可能になる。