[論文レビュー] Online Variance Reduction for Stochastic Optimization

Zalán Borsos, Andreas Krause+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Bandit Algorithms Research参考文献 34被引用数 6

ひとこと要約

本稿では、データポイント、座標、またはブロックの重要度サンプリング分布を、フォローザレギュライズドリーダー（FTRL）アプローチを用いて逐次的に学習する、スティッチアスティック最適化のための新しいオンライン分散低減手法を提案する。先行研究が線形化のテクニックに依存するのに対し、本手法は、後悔の上限が $\tilde{\mathcal{O}}(n^{1/3}T^{2/3})$ に抑えられ、より強い理論的保証を提供するとともに、一様サンプリングおよび先行の適応的サンプリング手法を実験的に上回る性能を示す。

ABSTRACT

Modern stochastic optimization methods often rely on uniform sampling which is agnostic to the underlying characteristics of the data. This might degrade the convergence by yielding estimates that suffer from a high variance. A possible remedy is to employ non-uniform importance sampling techniques, which take the structure of the dataset into account. In this work, we investigate a recently proposed setting which poses variance reduction as an online optimization problem with bandit feedback. We devise a novel and efficient algorithm for this setting that finds a sequence of importance sampling distributions competitive with the best fixed distribution in hindsight, the first result of this kind. While we present our method for sampling datapoints, it naturally extends to selecting coordinates or even blocks of thereof. Empirical validations underline the benefits of our method in several settings.

研究の動機と目的

• 一様サンプリングがデータ構造を無視するため生じる勾配推定の高分散を是正すること。
• バンドイットフィードバックのもとで、累積分散を最小化するように重要度サンプリング分布を逐次的に選択するオンライン学習フレームワークの構築。
• 後悔の上限を、後悔の上限が固定された最良の分布に対するものとして提供し、先行手法の限界を克服すること。
• 最適化アルゴリズムにおけるデータポイント選択にとどまらず、座標やブロックの選択へと本手法を拡張すること。
• 実用的設定における分散低減および収束速度の向上を、実験的に検証すること。

提案手法

• 線形化のテクニックに依存せずに、正則化された累積損失を直接最適化するフォローザレギュライズドリーダー（FTRL）フレームワークを用いる。
• 全勾配ではなく、サンプリングされた勾配の分散のみが観測されるバンドイットフィードバックメカニズムを設計する。
• 履歴の勾配ノルムに基づいて、探索と活用のバランスを取る正則化付きのサンプリング分布を導入する。
• 部分的フィードバック下での非有界コスト関数を扱うための新規な解析技術を用い、集中不等式と事象の条件付けを組み合わせる。
• 正則化パラメータでスケーリングされた推定累積勾配ノルムの逆数に基づくサンプリングルールを導出する。
• 各座標またはブロックを別個のサンプリングユニットとして扱うことで、座標およびブロック選択への本手法の拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 オンライン分散低減を、保証可能な後悔上限を持つバンドイット学習問題として定式化できるか？
• RQ2 線形化されていない非線形なFTRLベースのアルゴリズムは、EXP3のような線形化手法よりも優れた後悔バウンドを達成できるか？
• RQ3 提案手法は、収束速度および分散低減の観点で、一様サンプリングおよび先行の適応的サンプリング手法を上回るか？
• RQ4 本手法は、最適化における座標およびブロック選択へ自然に拡張可能か？
• RQ5 最良の固定分布に対する本手法の理論的後悔バウンドは何か？

主な発見

• 提案アルゴリズムは、後悔の上限として $\tilde{\mathcal{O}}(n^{1/3}T^{2/3})$ を達成し、後悔の上限が最良の固定重要度サンプリング分布に対するものである。
• 複数の機械学習ベンチマークにおいて、一様サンプリングおよび先行の適応的手法よりも勾配分散を顕著に低減する。
• 理論的解析により、部分的フィードバック下での非有界コスト関数を効果的に扱うことができ、先行研究が取り扱わなかった重要な技術的課題を解決した。
• SGDおよび座標降下法の設定において、最先端の手法と比較して、収束が速く、分散が小さいことが実験的に確認された。
• 本手法は座標およびブロック選択へ一般化可能であり、座標降下法やブロック反復ソルバーにおける分散低減を可能にする。
• ソースコードが公開されており、再現性の確保および既存の最適化パイプラインへの統合を容易にする。