[論文レビュー] Sample Complexity of Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization.

Zhe Wang, Yi Zhou+2 more|arXiv (Cornell University)|Feb 20, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用数 14

ひとこと要約

この論文は、非凸最適化のための確率的バリアンス低減付き立方正則化（SVRC）ニュートン法を提案し、標準的な立方正則化（CR）と比較して、より優れたサンプル複雑度を達成する。リサンプリングの方法にかかわらず、バリアンス低減を活用することで、サンプルなしの場合は$ olimits\mathcal{O}(N^{8/11} \epsilon^{-3/2})$、サンプルありの場合は$ olimits\mathcal{O}(N^{3/4}\epsilon^{-3/2})$の合計ヘッシアンサンプル複雑度を達成し、収束速度に変わりなくCRおよび先行のサブサンプリング変種を上回る。

ABSTRACT

The popular cubic regularization (CR) method converges with first- and second-order optimality guarantee for nonconvex optimization, but encounters a high sample complexity issue for solving large-scale problems. Various sub-sampling variants of CR have been proposed to improve the sample complexity.In this paper, we propose a stochastic variance-reduced cubic-regularized (SVRC) Newton's method under both sampling with and without replacement schemes. We characterize the per-iteration sample complexity bounds which guarantee the same rate of convergence as that of CR for nonconvex optimization. Furthermore, our method achieves a total Hessian sample complexity of $\mathcal{O}(N^{8/11} \epsilon^{-3/2})$ and $\mathcal{O}(N^{3/4}\epsilon^{-3/2})$ respectively under sampling without and with replacement, which improve that of CR as well as other sub-sampling variant methods via the variance reduction scheme. Our result also suggests that sampling without replacement yields lower sample complexity than that of sampling with replacement. We further compare the practical performance of SVRC with other cubic regularization methods via experiments.

研究の動機と目的

• 大規模な非凸最適化における立方正則化（CR）の高いサンプル複雑度に対処すること。
• 標準的なCRと同等の収束速度を維持する、CRの確率的バリアンス低減版を開発すること。
• サンプルなしおよびサンプルありの両方のサンプリング方式における、1イテレーションごとのサンプル複雑度および合計サンプル複雑度の境界を特定すること。
• 確率的設定において、サンプルなしの方がサンプルありよりも低いサンプル複雑度を達成することを示すこと。
• 実際の応用において、SVRCの性能を他の立方正則化手法と比較すること。

提案手法

• 非凸最適化のための確率的バリアンス低減付き立方正則化（SVRC）ニュートン法を提案する。
• 確率的設定におけるヘッシアン推定の安定化のためのバリアンス低減技術を導入する。
• ヘッシアンサンプリングにおけるサンプルありおよびサンプルなしの両方の設定での収束性を分析する。
• 標準的なCRの収束速度を保ちながら、1イテレーションごとのサンプル複雑度の境界を導出する。
• ヘッシアン近似の分散を低減するための再帰的ヘッシアン推定戦略を用いる。
• 両方のサンプリング方式における合計ヘッシアンサンプル複雑度の理論的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 確率的バリアンス低減付き立方正則化法は、標準的な立方正則化と同等の収束速度を達成しながら、サンプル複雑度を低減できるか？
• RQ2 サンプルありとサンプルなしの選択が、確率的立方正則化における合計ヘッシアンサンプル複雑度にどのように影響するか？
• RQ3 両方のサンプリング方式におけるSVRCの理論的サンプル複雑度境界は何か？
• RQ4 ヘッシアン推定におけるバリアンス低減は、非凸最適化における収束行動の改善に寄与するか？
• RQ5 実際の応用において、SVRCは他の立方正則化手法と比較して収束速度およびサンプル効率の点で優れているか？

主な発見

• SVRC法は、標準的な立方正則化（CR）と同等の収束速度を達成しながら、サンプル複雑度を顕著に低減する。
• サンプルなしの設定では、合計ヘッシアンサンプル複雑度が$\mathcal{O}(N^{8/11} \epsilon^{-3/2})$となり、CRおよび先行のサブサンプリング変種を上回る。
• サンプルありの設定では、合計ヘッシアンサンプル複雑度が$\mathcal{O}(N^{3/4}\epsilon^{-3/2})$となり、これもCRを上回る。
• サンプルなしの方がサンプルありよりも低いサンプル複雑度を達成しており、バリアンス低減効率に理論的優位性があることが示唆される。
• 実験的結果から、SVRCは実際の収束速度およびサンプル効率の点で、他の立方正則化手法を上回ることが示された。