[論文レビュー] Variance Reduced methods for Non-convex Composition Optimization

Liu Liu, Ji Liu+1 more|arXiv (Cornell University)|Nov 13, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用数 12

ひとこと要約

本稿では、内側関数と外側関数の両方が有限和構造を持つ非凸構成最適化問題に対して、2つのバリアンス低減 stochastic アルゴリズムを提案する。内側関数の推定にバリアンス低減を適用することで、特に内側の成分関数の数が多い場合に顕著に改善されたクエリ複雑度を達成し、このような非凸 stochastic 構成問題におけるクエリ複雑度の理論的分析の第一例を示している。

ABSTRACT

This paper explores the non-convex composition optimization in the form including inner and outer finite-sum functions with a large number of component functions. This problem arises in some important applications such as nonlinear embedding and reinforcement learning. Although existing approaches such as stochastic gradient descent (SGD) and stochastic variance reduced gradient (SVRG) descent can be applied to solve this problem, their query complexity tends to be high, especially when the number of inner component functions is large. In this paper, we apply the variance-reduced technique to derive two variance reduced algorithms that significantly improve the query complexity if the number of inner component functions is large. To the best of our knowledge, this is the first work that establishes the query complexity analysis for non-convex stochastic composition. Experiments validate the proposed algorithms and theoretical analysis.

研究の動機と目的

• 非凸構成問題に大規模な数の内側成分関数が関与する際、SGD や SVRG などの既存の stochastic 方法が示す高いクエリ複雑度を解消すること。
• 内側の有限和関数 $ G(x) $ を近似する際に、全和ではなく部分関数をサンプリングすることで生じる勾配推定のバイアスの問題に取り組むこと。
• 2つの有限和構造の組み合わせに特化したバリアンス低減技術を開発し、クエリ複雑度を低減しながら収束保証を維持すること。
• 2段階の有限和構造を持つ非凸 stochastic 構成最適化におけるクエリ複雑度の理論的分析を初めて確立すること。
• 非線形埋め込みや強化学習を含む実世界の応用において、提案されたアルゴリズムを検証し、ベースライン手法に比べて高い効率性を示すこと。

提案手法

• 外側および内側の両方の有限和構造に SVRG テクニックを適用する、新たなバリアンス低減アルゴリズムを導入し、不偏な勾配推定を保証すること。
• 二重ループ構造を設計し、外側ループでは外側関数の完全な勾配推定を、内側ループでは内側関数のバリアンス低減勾配を使用すること。
• 特に内側関数 $ G(x) $ に注目し、制御変数法を用いて構成関数 $ f(x) = F(G(x)) $ の勾配推定における分散を低減すること。
• SVRG フレームワークを構成設定に適応させた2つのアルゴリズム—SCVR 及びその変種—を提案し、収束性とクエリ複雑度に関する理論的分析を実施すること。
• 外側関数では全和計算を維持することで、勾配推定 $ ( abla G_j(x))^T \nabla F_i(G(x)) $ が不偏のまま保たれることを保証すること。
• 幾何級数の議論を用いて期待誤差の減少に関する再帰的不等式を導出し、非凸性の仮定のもとでの収束を証明すること。

実験結果

リサーチクエスチョン

• RQ1 非凸構成問題における内側有限和関数にバリアンス低減技術を効果的に適用することで、クエリ複雑度を低減できるか？
• RQ2 2つの有限和構造を持つ非凸 stochastic 構成最適化におけるバリアンス低減手法の理論的クエリ複雑度は何か？
• RQ3 内側成分関数の数が大きい場合、提案手法は SGD や SVRG と比較して収束速度およびクエリ効率で優れているか？
• RQ4 構成設定において、勾配推定を不偏に保ちながら分散を低減できるか？
• RQ5 非線形埋め込みや強化学習といった実応用において、提案手法は SCGD や Acc-SCGD、ASC-PG よりも優れた性能を示すか？

主な発見

• 提案された SCVR アルゴリズムは、$ \mathcal{O}(n^{4/5}/\varepsilon) $ のクエリ複雑度を達成し、$ m_0 > 1 $ の場合に SGD ($ \mathcal{O}(n^{m_0}/\varepsilon^2) $) や完全勾配降下法 ($ \mathcal{O}(n^{m_0}/\varepsilon) $) より顕著に低い。
• 提案手法のクエリ複雑度は、内側成分関数の数 $ m $ に対して良好にスケーリングされ、$ m $ が大きい場合に既存手法を上回る性能を示す。
• 理論的分析により、提案アルゴリズムが非凸性の仮定のもとで定常点に収束し、再帰的不等式条件のもとで期待誤差が幾何的に減少することが確認された。
• 非線形埋め込みおよび強化学習の応用における実験により、ベースライン手法と比較して、提案手法の収束速度の向上とクエリ複雑度の低減が実証された。
• SCGD や Acc-SCGD、ASC-PG よりもクエリ複雑度において優れた性能を達成し、比較されたすべての手法の中で最も良い勾配複雑度を達成した。
• 本分析により、2つの有限和構造を持つ非凸 stochastic 構成問題に対する、これまでに知られていた唯一のクエリ複雑度の上限が確立され、理論的理解における重要な空白が埋められた。