[論文レビュー] Second-Order Non-Stationary Online Learning for Regression

Nina Vaits, Edward Moroshko+1 more|arXiv (Cornell University)|Mar 1, 2013

Advanced Bandit Algorithms Research参考文献 38被引用数 21

ひとこと要約

本稿では、非定常環境における回帰のための2つの2次順序オンライン学習アルゴリズム、ARCOR と LASER を提案する。ARCOR は、古くなった情報を忘れることを目的とした適応的共分散リセットを用いる。LASER は、ドリフトを考慮した最後のステップにおけるミニマックス最適予測子である。両アルゴリズムとも、ゆっくりと変化する線形関数の最良の系列に対するサブ線形なリグレットを達成し、定常状態では対数的リグレットを達成する。これは、動的状況下での先行手法を上回る結果である。

ABSTRACT

The goal of a learner, in standard online learning, is to have the cumulative loss not much larger compared with the best-performing function from some fixed class. Numerous algorithms were shown to have this gap arbitrarily close to zero, compared with the best function that is chosen off-line. Nevertheless, many real-world applications, such as adaptive filtering, are non-stationary in nature, and the best prediction function may drift over time. We introduce two novel algorithms for online regression, designed to work well in non-stationary environment. Our first algorithm performs adaptive resets to forget the history, while the second is last-step min-max optimal in context of a drift. We analyze both algorithms in the worst-case regret framework and show that they maintain an average loss close to that of the best slowly changing sequence of linear functions, as long as the cumulative drift is sublinear. In addition, in the stationary case, when no drift occurs, our algorithms suffer logarithmic regret, as for previous algorithms. Our bounds improve over the existing ones, and simulations demonstrate the usefulness of these algorithms compared with other state-of-the-art approaches.

研究の動機と目的

• 標準のオンライン学習アルゴリズムが固定関数と比較するという限界を扱う。これは、アダプティブフィルタリングのような非定常な現実世界の応用には不適切である。
• 回帰タスクにおける変化する目的関数に適応する2次順序オンライン学習アルゴリズムを設計すること。
• 累積ドリフトがサブ線形である場合の最悪ケース設定において、リグレットを低く保つこと。これにより、ゆっくりと変化する線形関数の最良の系列に近い性能を確保する。
• 既存の2次順序手法（例：AROWR、AAR）を、理論的保証とともに非定常状態に拡張すること。
• ドリフト下での最後のステップにおけるミニマックス最適予測子のための動的計画法を提示し、これにより新規なアルゴリズム（LASER）を実現すること。

提案手法

• ARCOR は AROWR を拡張し、固定時間間隔ではなく、2次順序情報行列の変化に基づいた適応的共分散リセットを導入する。
• アルゴリズムは逆共分散行列の再帰的更新を用い、行列が過去のデータから顕著に逸脱していると判明した場合にリセットを実行する。
• LASER は、現在のステップが最終ステップであると仮定して、動的計画法の再帰を解き、ドリフトを考慮した最後のステップにおけるミニマックス最適予測子を導出する。
• 予測を重みベクトルのミニマックス最適化として定式化し、リグレット境界導出にドリフト制約を組み込む。
• 両アルゴリズムは最悪ケースリグレットフレームワークで分析され、トレースおよび行列式の不等式を用いて共分散行列の境界を導出する。
• 理論的分析は、行列恒等式および再帰的関係を用いて、アルゴリズムの累積損失と任意の重みベクトル系列の損失との差を境界づける。

実験結果

リサーチクエスチョン

• RQ1 2次順序オンライン学習アルゴリズムは、時間とともに最適関数が変化する非定常環境でも、低リグレットを維持できるか？
• RQ2 ドリフトする回帰タスクにおける性能向上を目的とした、2次順序情報の適応的リセットはどのように設計できるか？
• RQ3 ドリフト下での回帰タスクに対して、最後のステップにおけるミニマックス最適予測子を導出できるか。また、他の適応手法と比べてどのように性能を発揮するか？
• RQ4 累積ドリフトがサブ線形である場合、このようなアルゴリズムの理論的リグレット境界は何か？
• RQ5 提案手法は、非定常状態下での定常対応手法や最先端手法と比較して、どのように性能を発揮するか？

主な発見

• ARCOR は、$ \mathcal{O}(T^{1/2} V^{(2)1/2}) $ の形のリグレット境界を達成する。ここで $ V^{(2)} $ は累積ドリフトを表し、サブ線形ドリフト下でサブ線形リグレットを保証する。
• LASER は、$ \mathcal{O}(\sqrt{Y^2 d M T V^{(2)}}) $ のリグレット境界を達成する。$ V^{(2)} $ がサブ線形に増加する場合、これは $ T $ に対してサブ線形である。
• 両アルゴリズムはドリフトが発生しない場合、それらの定常対応（例：AROWR、AAR）に還元され、対数的リグレットを回復する。
• 理論的分析により、両アルゴリズムの累積損失が、単一の固定関数ではなく、ゆっくりと変化する線形関数の系列に対して相対的に境界づけられることを確認した。
• シミュレーションにより、ARCOR と LASER が非定常回帰タスクにおいて、既存の最先端手法を上回ることを示した。
• LASER のための動的計画法により、ドリフト下での最後のステップにおけるミニマックス最適予測子の正確な計算が可能となり、オンライン学習分野における新規な貢献である。