[論文レビュー] A Stochastic Composite Gradient Method with Incremental Variance Reduction

Junyu Zhang, Lin Xiao|arXiv (Cornell University)|Jun 24, 2019

Stochastic Gradient Optimization Techniques被引用数 25

ひとこと要約

本稿では、期待値を伴うベクトル写像を含む合成関数を最小化するための、確率的合成勾配法であるCIVRを提案する。内部写像とそのヤコビアンの両方に対してバリアンス低減推定器を用いることで、合成勾配推定に起因する固有のバイアスを考慮しても、非凸有限和および期待値問題の最先端手法と同等の最適なサンプル複雑度を達成する。

ABSTRACT

We consider the problem of minimizing the composition of a smooth (nonconvex) function and a smooth vector mapping, where the inner mapping is in the form of an expectation over some random variable or a finite sum. We propose a stochastic composite gradient method that employs an incremental variance-reduced estimator for both the inner vector mapping and its Jacobian. We show that this method achieves the same orders of complexity as the best known first-order methods for minimizing expected-value and finite-sum nonconvex functions, despite the additional outer composition which renders the composite gradient estimator biased. This finding enables a much broader range of applications in machine learning to benefit from the low complexity of incremental variance-reduction methods.

研究の動機と目的

• 期待値を伴うベクトル写像との合成を含む非凸合成最適化問題を最小化する挑戦に対処すること。
• 合成構造に起因する勾配推定器のバイアスを克服することにより、標準的なバリアンス低減技術の適用を複雑にする要因に対処すること。
• このような問題に対して最適なサンプル複雑度を達成する手法を開発することであり、より単純な期待値問題および有限和問題の最良知られていたレートに一致させること。
• 強化学習やリスク回避最適化を含む機械学習分野における広範な応用を可能にするために、低複雑度かつ効率的なアルゴリズムを提供すること。

提案手法

• ベクトル写像 $ g_{\rho}(x) $ とそのヤコビアン $ g'_{\rho}(x) $ の両方に対してインクリメンタルバリアンス低減を用いる、新規な確率的合成勾配法CIVRを提案する。
• 部分サンプル化された期待値に基づくバイアス付き勾配推定器を採用するが、新規なインクリメンタルバリアンス低減メカニズムによりバイアスを軽減する。
• 二段階のサンプリング戦略を導入する：初期化時にフルバッチサンプリングを行い、その後はバッチサイズ $ s=1 $ のサブサンプリングを行うことで、計算を効率化する。
• 非凸性下での収束を保証するために、適応的ステップサイズを用いたプロキシマル勾配フレームワークを用いる。
• 近似解のための $ \epsilon $-近似解におけるプロキシマル勾配写像の期待ノルム、$ \mathbb{E}[\|\mathcal{G}(\bar{x})\|^{2}] \leq \epsilon $ の分析を通じて、理論的収束レートを導出する。
• 政策評価やリスク回避最適化を含む、$ \min_x f(\mathbb{E}_\xi[g_\xi(x)]) + r(x) $ の形の問題にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 合成構造に起因するバイアス付き勾配推定器を有する非凸合成最適化問題に対して、バリアンス低減型確率的勾配法を設計できるか？
• RQ2 このような手法は、標準的な期待値問題および有限和問題の最良知られていた一階法と同等のサンプル複雑度を達成するか？
• RQ3 小規模な中間写像（例えば、リスク回避最適化における $ p=2 $）を伴う実用的問題、例えば強化学習における政策評価やリスク回避最適化に、この手法を効率的に適用できるか？
• RQ4 $ \epsilon $-最適解に到達するまでの関数評価およびヤコビアン評価回数の観点から、提案手法の理論的収束レートは何か？
• RQ5 収束速度および安定性の観点から、SCGD、ASCGD、VRSC-PGといった既存のアルゴリズムと、実験的に比較して、本手法はどのように差をつけるか？

主な発見

• CIVRはサンプル複雑度 $ \mathcal{O}(\kappa^2 \sigma_0^2 \epsilon^{-1} + \kappa) \ln \epsilon^{-1} $ を達成し、非凸有限和および期待値問題の最良知られていたレートと一致する。
• 決定的状態（$ \sigma_0 = 0 $）では、複雑度は $ \mathcal{O}(\kappa \ln \epsilon^{-1}) $ に減少し、滑らかな非凸問題において最適であることが示される。
• MDPにおける政策評価に関する数値実験では、CIVR-b1（バッチサイズ1）がSCGD、ASCGD、ASC-PG、VRSC-PG、C-SAGAをすべて上回る収束速度と安定性を示した。
• 小さなバッチサイズでも、安定的かつ滑らかな収束軌道を維持でき、実用的状況でのロバスト性を示した。
• 低次元の中間写像（例：リスク回避最適化における $ p=2 $）を伴う問題では、計算のオーバーヘッドが最小限に抑えられ、効率的な適用が可能となった。
• 理論的分析により、合成勾配推定のバイアスを効果的に処理でき、非凸性下でも収束保証が可能であることが確認された。