[論文レビュー] A parameter-free hedging algorithm

Kamalika Chaudhuri, Yoav Freund+1 more|arXiv (Cornell University)|Mar 16, 2009

Advanced Bandit Algorithms Research参考文献 20被引用数 64

ひとこと要約

この論文では、決定理論的オンライン学習（DTOL）のためのパラメータフリーなオンライン学習アルゴリズムであるNormalHedgeを紹介する。このアルゴリズムは、学習率の手動チューニングを必要とせず、動的に適応する。行動の上位$\epsilon$-パーセンタイルに対するレグレットバウンドを$ O\big(\sqrt{T\ln\frac{1}{\epsilon}} + \ln^2 N\big) $として達成し、最適にチューニングされたHedgeアルゴリズムと同等の性能を発揮する一方、大規模な行動集合に対してもロバストである。

ABSTRACT

We study the problem of decision-theoretic online learning (DTOL). Motivated by practical applications, we focus on DTOL when the number of actions is very large. Previous algorithms for learning in this framework have a tunable learning rate parameter, and a barrier to using online-learning in practical applications is that it is not understood how to set this parameter optimally, particularly when the number of actions is large. In this paper, we offer a clean solution by proposing a novel and completely parameter-free algorithm for DTOL. We introduce a new notion of regret, which is more natural for applications with a large number of actions. We show that our algorithm achieves good performance with respect to this new notion of regret; in addition, it also achieves performance close to that of the best bounds achieved by previous algorithms with optimally-tuned parameters, according to previous notions of regret.

研究の動機と目的

• 行動の数$N$が非常に大きい際、オンライン学習アルゴリズムにおける学習率のチューニングという実用的課題に対処すること。
• 手動によるハイパーパrameter調整が不要な、完全にパラメータフリーな新しいアルゴリズムを提案すること。
• 多くの近似最適な行動が存在する応用において、より自然なレグレットの概念—すなわち、最良の行動に対する標準的レグレットではなく、上位$\epsilon$-パーセンタイルの行動に対するレグレット—を導入すること。
• $N$が大きい場合でも、最適にチューニングされたHedgeアルゴリズムと同等のレグレットバウンドを達成すること。

提案手法

• 各行動に対して、レグレット$x$と適応的スケールパラメータ$c$に基づくポテンシャル$ \phi(x,c) = \exp\big(\frac{([x]_+)^2}{2c}\big) $を割り当てるポテンシャルベースのフレームワークを採用する。
• 行動の重みは、そのポテンシャルのレグレットに関する微分に比例して更新され、動的な適応が可能になる。
• スケールパラメータ$ c_t $は損失シーケンスに基づいてオンラインで更新され、観測されたレグレット成長に適応する。
• 累積レグレットに応じてポテンシャル関数の曲率を調整することで、探索と活用のバランスを保つ。
• 各ラウンドでラインサーチを実行して最適な$ c_t $を計算し、$T$ や $N$ の事前知識がなくてもレグレットバウンドを維持できるようにする。

実験結果

リサーチクエスチョン

• RQ1 行動数$N$が大きい場合でも、学習率のチューニングが不要なパラメータフリーなオンライン学習アルゴリズムを設計できるか？
• RQ2 多くの近似最適な行動が存在する応用において、最良の行動に対する標準的レグレットよりも自然なレグレットの概念は存在するか？
• RQ3 この新しいレグレットの概念のもとで、パラメータフリーなアルゴリズムが最適にチューニングされたHedgeアルゴリズムと同等のレグレットバウンドを達成できるか？
• RQ4 事前知識として$T$ や $N$ を持たない状況でも、タイトなレグレットバウンドを保証するために、適応的スケールパラメータ$ c_t $はどのように更新すべきか？

主な発見

• NormalHedgeアルゴリズムは、上位$\epsilon$-パーセンタイルの行動に対して、$ O\big(\sqrt{T\ln\frac{1}{\epsilon}} + \ln^2 N\big) $のレグレットバウンドを達成し、すべての$T$ および $\epsilon$ に対して同時に有効である。
• $ \epsilon = 1/N $の場合、最良の行動に対するレグレットは$ O\big(\sqrt{T\ln N} + \ln^2 N\big) $で抑えられ、最適なHedgeアルゴリズムの$ O(\sqrt{T\ln N}) $のバウンドに僅かに劣るにとどまる。
• アルゴリズムは完全にパラメータフリーであり、学習率$ \eta $の手動設定が一切不要で、大規模応用において実用的である。
• レグレットバウンドはすべてのラウンドおよびすべての分位数レベルにわたって一様に成り立ち、スケールパラメータ$ c_t $の動的調整により、観測された損失シーケンスに適応する。