[論文レビュー] Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization

Huizhuo Yuan, Xiangru Lian+1 more|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用数 4

ひとこと要約

本稿では、滑らかな非凸合成最適化のための新しい確率的再帰的分散低減アルゴリズム、SARAH-Compositionalを提案する。SARAHフレームワークを合成目的関数へ拡張することで、有限和の場合には$\mathcal{O}((n+m)^{1/2}\varepsilon^{-2})$、オンラインの場合には$\mathcal{O}(\epsilon^{-3})$という最適なIFO複雑度を達成し、ポートフォリオ管理、強化学習、SNEタスクの分野で理論的および実用的観点から先行手法を上回る性能を発揮する。

ABSTRACT

Stochastic compositional optimization arises in many important machine learning tasks such as value function evaluation in reinforcement learning and portfolio management. The objective function is the composition of two expectations of stochastic functions, and is more challenging to optimize than vanilla stochastic optimization problems. In this paper, we investigate the stochastic compositional optimization in the general smooth non-convex setting. We employ a recently developed idea of extit{Stochastic Recursive Gradient Descent} to design a novel algorithm named SARAH-Compositional, and prove a sharp Incremental First-order Oracle (IFO) complexity upper bound for stochastic compositional optimization: $\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$ in the finite-sum case and $\mathcal{O}(\varepsilon^{-3})$ in the online case. Such a complexity is known to be the best one among IFO complexity results for non-convex stochastic compositional optimization, and is believed to be optimal. Our experiments validate the theoretical performance of our algorithm.

研究の動機と目的

• 滑らかな非凸合成目的関数の最適化という課題に取り組むこと。ここで目的関数は、確率的関数の期待値の合成として表される。
• 既存手法よりも高速な収束性とより良い理論的複雑度境界を達成する分散低減アルゴリズムの開発。
• SARAHのような再帰的勾配法の成功を、より複雑な合成設定へと拡張し、実世界の機械学習応用における効率的な最適化を可能にすること。
• リスク回避的ポートフォリオ管理、強化学習における価値関数評価、および確率的近傍埋め込み（SNE）の分野における理論的改善を実証的に検証すること。

提案手法

• 提案されたSARAH-Compositionalアルゴリズムは、合成目的関数$\Phi(x) = f(g(x))$の全勾配推定における分散低減を目的として、再帰的勾配更新を用いる。
• 内側関数$g(x)$および外側関数$f(g(x))$の勾配の再帰的推定を維持し、制御変数のメカニズムを用いて各反復で効率的に更新する。
• アルゴリズムは二段階の確率的設定で動作する。内側関数$g_w(x)$および外側関数$f_v(y)$を独立にサンプリングし、ミニバッチ近似を用いて勾配推定値を計算する。
• 合成目的関数の構造を活用して、全勾配の再帰的更新を実現し、確率的勾配評価回数を削減する。
• 有限和およびオンラインの両設定に対応するように設計されており、それぞれについて異なる収束解析が行われる。
• 理論的解析により、非凸合成最適化における最良の既知のIFO複雑度が達成されることを確立している。

実験結果

リサーチクエスチョン

• RQ1 標準的な確率的最適化における再帰的分散低減技術を、より複雑な合成目的関数の設定に適応可能か？
• RQ2 非凸確率的合成最適化において達成可能な最適な段階的一次オракル（IFO）複雑度は何か？
• RQ3 提案されたSARAH-Compositionalアルゴリズムは、SCGD、Acc-SCGD、ASC-PG、VRSCといった既存手法よりも収束速度および安定性において優れているか？
• RQ4 ポートフォリオ管理、強化学習、次元削減といった多様な実世界応用において、アルゴリズムの性能はどのように評価されるか？

主な発見

• 有限和の場合、SARAH-Compositionalは$\mathcal{O}((n+m)^{1/2}\varepsilon^{-2})$というIFO複雑度を達成し、既存手法の中で最高水準である。
• オンライン設定では、$\mathcal{O}(\varepsilon^{-3})$というIFO複雑度を達成し、このクラスの問題における最良の既知の境界と一致する。
• リスク回避的ポートフォリオ管理における数値実験では、SARAH-Compositionalが他のアルゴリズムよりも高速かつ安定した収束を示した。
• 強化学習タスクでは、特に小規模バッチサイズおよび大規模な内側ループ回数の条件下で、VRSCと比較してSARAH-Compositionalが優れた収束速度と低い勾配ノルムを示した。
• MNISTデータセットを用いたSNEの実験では、SARAH-CompositionalはVRSCと比較して著しく優れた安定性と勾配ノルムの急激な低下を示し、各内側ループ内で勾配ノルムが滑らかに減少した。
• 本研究で評価された全タスクにおいて、アルゴリズムはベースライン手法を一貫して上回り、合成最適化における再帰的分散低減の理論的利点を裏付ける結果となった。