[論文レビュー] A Last-Step Regression Algorithm for Non-Stationary Online Learning

Edward Moroshko, Koby Crammer|arXiv (Cornell University)|Mar 15, 2013

Advanced Bandit Algorithms Research参考文献 35被引用数 7

ひとこと要約

本稿では、ゆっくりと変化する線形予測子に適応する非定常オンライン回帰のための、二乗損失に対する新しい最後のステップ min-max 最適アルゴリズムであるLASERを提案する。全ドリフトが $ T\nu $ のとき、$ T\nu^{1/3} + \log(T) $ のレグレットバウンドを達成し、ARCORの $ T\nu^{1/4}\log(T) $ よりも優れている。定常ケースでは対数的レグレットを示す。

ABSTRACT

The goal of a learner in standard online learning is to maintain an average loss close to the loss of the best-performing single function in some class. In many real-world problems, such as rating or ranking items, there is no single best target function during the runtime of the algorithm, instead the best (local) target function is drifting over time. We develop a novel last-step minmax optimal algorithm in context of a drift. We analyze the algorithm in the worst-case regret framework and show that it maintains an average loss close to that of the best slowly changing sequence of linear functions, as long as the total of drift is sublinear. In some situations, our bound improves over existing bounds, and additionally the algorithm suffers logarithmic regret when there is no drift. We also build on the H_infinity filter and its bound, and develop and analyze a second algorithm for drifting setting. Synthetic simulations demonstrate the advantages of our algorithms in a worst-case constant drift setting.

研究の動機と目的

• 真のターゲット関数が時間とともに変化する状況では、単一の固定関数と比較する標準的なオンライン学習アルゴリズムの限界を解消すること。
• ドリフト下でのゆっくりと変化する線形関数の系列に適応するオンライン回帰の min-max 最適アルゴリズムを開発すること。
• 定数またはほぼ定数のドリフトが存在する状況で、ARCORなどの既存手法よりもタイトなレグレットバウンドを達成すること。
• 最後のステップ min-max アルゴリズムと、$ H_∞ $ フィルタにインspiredされたフィルタベースの変種の両方の理論的保証を提供すること。
• 合成設定における最悪ケース定数ドリフトにおいて、既存手法を上回ることを実験的に示すこと。

提案手法

• 動的プログラミングを用いて、非自明な最適化問題を解くことで、ドリフト下でのオンライン回帰に対する最後のステップ min-max 最適予測子を導出する。
• 現在のラウンドが最終ラウンドであると仮定したレグレット最小化問題を定式化し、後退的再帰を用いて最適予測を逐次計算する。
• 共分散行列 $ \mathbf{D}_t $ の固有値を暗黙的に制御する正則化機構を導入し、明示的なリセットや射影を回避する。
• 全ドリフトが $ T\nu $ のとき、$ \nu = o(1) $ として、$ O(T\nu^{1/3} + \log T) $ のレグレットバウンドを確立。共分散行列のトレースおよび行列式の項を用い、正則化パrameterによるきめ細やかな制御を実現。
• $ H_∞ $ フィルタにインspiredされた第二のアルゴリズムを提案。フィルタリングにおいても min-max 最適であり、対応するレグレットバウンドを導出。
• アルゴリズムの実装では行列逆行列計算と固有値分解を用いるが、今後の方向性として効率化の改善が挙げられている。

実験結果

リサーチクエスチョン

• RQ1 最後のステップ min-max アプローチを、変化するターゲット関数を伴う非定常オンライン学習に適応可能か？
• RQ2 全ドリフトがラウンド数 $ T $ に対してサブ線形であるとき、どの程度のレグレットバウンドが達成可能か？また、既存手法と比較してどうなるか？
• RQ3 ドリフトが存在しない（定常ケース）場合、提案手法は対数的レグレットを維持するか？
• RQ4 $ H_∞ $ にインspiredされたアルゴリズムの性能は、最後のステップ min-max アプローチと比べて、レグレットと適応性の観点でどの程度か？
• RQ5 ドリフトの大きさを事前に知らなくても、未知のドリフトレベルに対してロバストに動作するようにアルゴリズムを設計可能か？

主な発見

• 全ドリフトが $ T\nu $ のとき、LASERアルゴリズムは $ O(T\nu^{1/3} + \log T) $ の累積レグレットバウンドを達成し、ARCORの $ O(T\nu^{1/4}\log T) $ よりも優れている。
• 定常設定（$ \nu = 0 $）では、対数的レグレットを示し、フォスターの元々の最後のステップ min-max アルゴリズムと同等の性能を達成する。
• 正則化パrameterによる制御を介して、進化する共分散行列 $ \mathbf{D}_t $ のトレースおよび行列式の項を用いて、レグレットバウンドを導出。
• $ H_∞ $ にインspiredされたアルゴリズムは、類似したレグレットバウンドを持つ代替の min-max 定式化を提供し、フィルタリングとドリフト下のオンライン学習との間の関連を示している。
• 合成シミュレーションにより、LASERは最悪ケース定数ドリフトのシナリオでベースライン手法を上回ることを確認し、理論的優位性を実証した。
• 明示的な共分散リセットや重みベクトルの射影を回避するため、ARCOR や CR-RLS よりも単純でありながら、強力な理論的保証を維持している。