[論文レビュー] Online Nonparametric Regression

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Feb 11, 2014

Face and Expression Recognition被引用数 19

ひとこと要約

本稿は、逐次エントロピーを用いてオンライン非パラメトリック回帰における最適なレジームレートを確立し、i.i.d. 学習と類似する段階的転移を示している。逐次エントロピーを複雑さの尺度として導入することで、これらのレートを達成する汎用の予測器を提示し、逐次的および経験的エントロピーが一致する場合、オンラインのレジームレートが対数要因を除いてi.i.d. 学習のレートと一致することを示している。

ABSTRACT

We establish optimal rates for online regression for arbitrary classes of regression functions in terms of the sequential entropy introduced in (Rakhlin, Sridharan, Tewari, 2010). The optimal rates are shown to exhibit a phase transition analogous to the i.i.d./statistical learning case, studied in (Rakhlin, Sridharan, Tsybakov 2013). In the frequently encountered situation when sequential entropy and i.i.d. empirical entropy match, our results point to the interesting phenomenon that the rates for statistical learning with squared loss and online nonparametric regression are the same. In addition to a non-algorithmic study of minimax regret, we exhibit a generic forecaster that enjoys the established optimal rates. We also provide a recipe for designing online regression algorithms that can be computationally efficient. We illustrate the techniques by deriving existing and new forecasters for the case of finite experts and for online linear regression.

研究の動機と目的

• 任意の関数クラス上でオンライン非パラメトリック回帰のミニマックス・レジームレートを確立すること。
• 逐次エントロピーを複雑さの尺度として導入することで、防御的予測と集約的手法を統一すること。
• 弱い条件下で、オンライン回帰におけるレジームレートがi.i.d. 統計的学習のレートと一致することを示すこと。
• 最適なレートを達成する汎用的で計算的に実行可能な予測アルゴリズムを提供すること。
• 有限次元線形モデルにとどまらず、豊富な非パラメトリッククラスへ既存の結果を拡張すること。

提案手法

• 平方損失を伴うオンライン回帰におけるレジームを特徴付ける複雑さの尺度として、逐次エントロピーを用いる。
• 二段階の予測手順を導入する：小さな関数球上で局所ミニマックスアルゴリズムを適用し、それを集約スキームで統合する。
• 共役性と対称化を活用することで、予測器の許容性を示すための緩和技術を用いる。
• Vovk-Azoury-Warmuth 予測器に基づく閉形式の予測ルールを導出し、安定性を保証するためにクリッピングを施す。
• ドッドライン種のエントロピー積分バウンドを用いて、関数クラス内の小さな球内でのレジームを制御する。
• 逐次予測フレームワークに適応されたメトリックエントロピーおよび経験的被覆の議論を用いる。

実験結果

リサーチクエスチョン

• RQ1 任意の関数クラス上でオンライン非パラメトリック回帰における最適なレジームレートは何か？
• RQ2 逐次エントロピーと経験的エントロピーは、オンラインレジームレートを決定する上でどのように関係するか？
• RQ3 類似した複雑さの条件下で、オンライン学習におけるレジームレートはi.i.d. 統計的学習のレートと一致するか？
• RQ4 平方損失におけるミニマックス・レジームを特徴付けるために、逐次被覆数は果たす役割は何か？
• RQ5 最適なレジームレートを達成する汎用的で計算効率の良いアルゴリズムは存在するか？

主な発見

• オンライン非パラメトリック回帰のミニマックス・レジームは、逐次エントロピーの $O(\beta^{-p})$ 行動によって決定される段階的転移を示す：$p \in (0,2]$ の場合 $n^{-\frac{2}{2+p}}$ であり、$p \geq 2$ の場合 $n^{-1/p}$ である。
• 下界が上界と対数要因を除いて一致し、導出されたレートの最適性が確認された。
• 逐次エントロピーとi.i.d. 経験的エントロピーが一致する場合、オンライン回帰と平方損失を伴う統計的学習のレジームレートは、対数要因を除いて同一である。
• 逐次エントロピーと局所ミニマックス戦略に基づく汎用的予測器は、最適なレジームレートを達成する。
• 提案されたアルゴリズムは計算的に効率的であり、有限のエキスパートやオンライン線形回帰に対する既存の手法を一般化する。
• 緩和技術により許容性が保証され、閉形式の予測ルールが得られ、クリッピングを施した Vovk-Azoury-Warmuth 予測器と一致する。