[論文レビュー] Accelerated Method for Stochastic Composition Optimization with Nonsmooth Regularization

Zhouyuan Huo, Bin Gu+2 more|arXiv (Cornell University)|Nov 10, 2017

Stochastic Gradient Optimization Techniques被引用数 21

ひとこと要約

本稿では、非滑らか正則化を伴う確率的合成最適化のための分散低減 stochastic compositional gradient 法、VRSC-PG を提案する。分散低減とプロキシマル更新を統合することで、強い凸問題では線形収束を達成し、一般問題では従来の $O(T^{-1/2})$ から $O((n_1+n_2)^{2/3}T^{-1})$ に改善された最先端の収束速度を達成する。

ABSTRACT

Stochastic composition optimization draws much attention recently and has been successful in many emerging applications of machine learning, statistical analysis, and reinforcement learning. In this paper, we focus on the composition problem with nonsmooth regularization penalty. Previous works either have slow convergence rate or do not provide complete convergence analysis for the general problem. In this paper, we tackle these two issues by proposing a new stochastic composition optimization method for composition problem with nonsmooth regularization penalty. In our method, we apply variance reduction technique to accelerate the speed of convergence. To the best of our knowledge, our method admits the fastest convergence rate for stochastic composition optimization: for strongly convex composition problem, our algorithm is proved to admit linear convergence; for general composition problem, our algorithm significantly improves the state-of-the-art convergence rate from $O(T^{-1/2})$ to $O((n_1+n_2)^{{2}/{3}}T^{-1})$. Finally, we apply our proposed algorithm to portfolio management and policy evaluation in reinforcement learning. Experimental results verify our theoretical analysis.

研究の動機と目的

• 既存の非滑らか正則化付き確率的合成最適化手法における完全な収束解析の欠如と低速な収束速度の問題に対処する。
• 内側関数の評価が高コストである合成問題において、不偏勾配推定の計算コストを低減する。
• 非滑らか正則化ペナルティを効果的に扱うために、分散低減とプロキシマル更新を組み合わせた手法を開発する。
• 特に強い凸でない設定において、先行手法よりも高速な収束速度を達成する。
• 非滑らか正則化を伴う強い凸および一般の合成問題に対して、理論的保証を提供する。

提案手法

• 確率的合成問題における収束加速を目的とした、新しい分散低減 stochastic compositional proximal gradient (VRSC-PG) 法を提案する。
• G_j(x)、\nabla G_j(x)、\nabla F_i(y) のクエリ回数を数えるクエリオラクルモデルを導入し、クエリ複雑度の公平な比較を可能にする。
• 外側関数および内側関数の確率的勾配に分散低減技術を適用することで、ノイズを低減し、収束を加速する。
• 非微分可能である場合でも収束を保証するため、非滑らか正則化項 h(x) を処理するためのプロキシマル更新ステップを用いる。
• マルチレベルサンプリング戦略と再帰的勾配推定を活用し、計算オーバーヘッドを最小限に抑えつつ、低分散を維持する。
• リャプノフ関数と再帰的不等式を用いた理論的収束バウンドを確立し、期待される最適性ギャップを分析する。

実験結果

リサーチクエスチョン

• RQ1 分散低減手法は、非滑らか正則化付き確率的合成問題において線形収束を達成できるか？
• RQ2 非滑らか正則化付き一般（強い凸でない）確率的合成問題における最適な収束速度は何か？
• RQ3 SCGD や ASC-PG や com-SVR-ADMM といった既存手法と比較して、提案手法のクエリ複雑度と収束速度はどのように異なるか？
• RQ4 非滑らか正則化の存在下で線形収束を保証するためのアルゴリズムパラメータの必要条件は何か？
• RQ5 内側関数および外側関数が凸でないが滑らかである場合、本手法は高速な収束を維持できるか？

主な発見

• 強い凸合成問題では、VRSC-PG は収束速度 $O\left(\rho^{\frac{T}{n_1+n_2+\kappa^3}}\right)$ の線形収束を達成し、先行手法を上回る。
• 一般（強い凸でない）問題では、収束速度が $O\left((n_1+n_2)^{2/3}T^{-1}\right)$ に改善され、従来の最先端の $O(T^{-1/2})$ より顕著に向上した。
• 本手法は、非滑らか正則化付き確率的合成問題に対して、強い凸および一般の両ケースを含む完全な収束解析を初めて提供する。
• 理論的解析により、線形収束を達成するためには、関連手法（例：com-SVR-ADMM）のパラメータ A と m が \kappa^2 に比例してスケーリングされる必要があることが確認され、これは先行研究で取り上げられていなかった条件である。
• ポートフォリオ管理および強化学習のポリシー評価における実験結果は、理論的予測を裏付け、ベースライン手法を上回る優れた性能を示している。
• 本手法は、反復ごとのクエリ複雑度を低く保ちながら、高速な収束を達成するため、内側関数評価が高コストな大規模応用に適している。