[論文レビュー] Nonparametric Compositional Stochastic Optimization

Amrit Singh Bedi, Alec Koppel+1 more|arXiv (Cornell University)|Feb 15, 2019

Sparse and Compressive Sensing Techniques参考文献 28被引用数 9

ひとこと要約

本稿では、再生成核ヒルベルト空間（RKHS）における非パrametricな合成確率的最適化のための記憶効率の良い確率的アルゴリズムCOLKを提案する。リスクに配慮した学習および連続空間におけるマルコフ決定過程を扱う。2時間スケールの確率的近似とグリーディ部分空間射影を用い、合成期待値を処理し、減衰するステップサイズでは確実収束を達成し、定数ステップサイズでは平均的に線形収束を実現する。計算複雑性が有限であることを保証する。

ABSTRACT

In this work, we address optimization problems where the objective function is a nonlinear function of an expected value, i.e., compositional stochastic {strongly convex programs}. We consider the case where the decision variable is not vector-valued but instead belongs to a reproducing Kernel Hilbert Space (RKHS), motivated by risk-aware formulations of supervised learning and Markov Decision Processes defined over continuous spaces. We develop the first memory-efficient stochastic algorithm for this setting, which we call Compositional Online Learning with Kernels (COLK). COLK, at its core a two-time-scale stochastic approximation method, addresses the fact that (i) compositions of expected value problems cannot be addressed by classical stochastic gradient due to the presence of the inner expectation; and (ii) the RKHS-induced parameterization has complexity which is proportional to the iteration index which is mitigated through greedily constructed subspace projections. We establish almost sure convergence of COLK with attenuating step-sizes, and linear convergence in mean to a neighborhood with constant step-sizes, as well as the fact that its complexity is at-worst finite. The experiments with robust formulations of supervised learning demonstrate that COLK reliably converges, attains consistent performance across training runs, and thus overcomes overfitting.

研究の動機と目的

• 連続空間における期待値の非線形関数として定式化された目的関数を扱う合成確率的最適化問題を解決すること。
• 再生成核ヒルベルト空間（RKHS）における意思決定変数のための記憶効率の良いアルゴリズムを開発すること。カーネル法で一般的に見られる複雑性の爆発を回避すること。
• 期待値の合成を扱う古典的確率的勾配法の限界を克服すること。
• 非パrametricかつリスクに配慮した学習設定において、収束性と有限の計算複雑性を保証すること。
• 連続空間における教師あり学習およびマルコフ決定過程のための頑健な最適化フレームワークを提供すること。

提案手法

• 合成オンライン学習 with カーネル（COLK）を提案する。これは、RKHSにおける合成的目的関数に特化した2時間スケールの確率的近似アルゴリズムである。
• 反復回数に伴うRKHSパラメータ化の成長を抑えるために、グリーディ部分空間射影を用いることで、計算複雑性を有限に保つ。
• 確実収束を達成するために減衰するステップサイズを用い、定数ステップサイズにより最適解の近傍における平均的線形収束を保証する。
• 合成問題における内側の期待値を、期待値の推定と外側の非線形関数の分離によって処理する。
• カーネルベースの関数表現と確率的近似を統合し、連続領域における非パラメトリックモデリングを可能にする。
• RKHSの構造を活用して複雑な非線形意思決定関数を表現しつつ、射影によって記憶使用量を制御する。

実験結果

リサーチクエスチョン

• RQ1 再生成核ヒルベルト空間における合成確率的最適化のための記憶効率の良い確率的アルゴリズムを開発することは可能か？
• RQ2 古典的確率的勾配法が失敗する状況で、期待値の合成構造をどのように処理できるか？
• RQ3 非パラメトリックかつカーネルベースのパラメータ化の下で、このようなアルゴリズムにどのような収束保証を確立できるか？
• RQ4 リスクに配慮した学習タスクにおいて、収束性を確実に保ちつつ計算複雑性を有限に保てるか？
• RQ5 標準的手法と比較して、実際の応用において、頑健性と一般化性能の観点から、このアルゴリズムはどのように性能を発揮するか？

主な発見

• 減衰するステップサイズを用いることで、COLKは確実収束を達成し、最適解に確実に収束する。
• 定数ステップサイズを用いる場合、COLKは最適解の近傍における平均的に線形収束を示す。
• グリーディ部分空間射影のおかげで、計算複雑性が最大でも有限に保たれ、無制限の成長を防ぐ。
• 実験では、COLKが訓練ランにわたり信頼性高く収束し、頑健な教師あり学習定式化における過学習を緩和することが示された。
• 複数回の実行においてCOLKは一貫した性能を示し、安定性が高く初期値への感受性が低いことがわかった。
• RKHSに基づく関数表現を活用することで、COLKは連続空間におけるリスクに配慮した学習目的を効果的に処理した。