[論文レビュー] A new Hedging algorithm and its application to inferring latent random variables

Yoav Freund, Daniel Hsu|ArXiv.org|Jun 30, 2008

Advanced Bandit Algorithms Research参考文献 8被引用数 5

ひとこと要約

本稿では、累積割引利益のための新しいオンライン学習アルゴリズムであるNormalHedgeを紹介する。このアルゴリズムは、マスターアルゴリズムより性能が悪い専門家にゼロの重みを割り当て、レグレットに基づく重み付け方式を用いる。レグレットバウンドは $ R_i^j \leq \sqrt{\frac{8\ln(2.32N)}{\alpha}} $ であり、専門家の数 $ N $ を事前に知らなくても成立し、HMMにおける潜在変数の推定にこのフレームワークを適用する。

ABSTRACT

We present a new online learning algorithm for cumulative discounted gain. This learning algorithm does not use exponential weights on the experts. Instead, it uses a weighting scheme that depends on the regret of the master algorithm relative to the experts. In particular, experts whose discounted cumulative gain is smaller (worse) than that of the master algorithm receive zero weight. We also sketch how a regret-based algorithm can be used as an alternative to Bayesian averaging in the context of inferring latent random variables.

研究の動機と目的

• 専門家の数 $ N $ を事前に知らなくても、累積割引利益において低いレグレットを達成できるオンラインヘッジングアルゴリズムの開発。
• 確率的モデルにおける潜在確率的変数を推定するためのベイジアン平均の代替として、レグレットベースの手法を提供すること。
• 標準的なベイジアン手法が失敗する可能性がある $ L_1 $ 損失下でも、隠れマルコフモデル（HMM）における隠れ状態のロバストな推定を可能にすること。
• 潜在関数のパラメータ $ c $ の役割を分析することで、理論的境界と実践的性能のギャップを埋めること。

提案手法

• 各専門家 $ i $ のレグレット $ R_i^j $ に基づく重み付け方式を用い、$ R_i^j \leq 0 $ の場合はゼロ重み、それ以外は正の重みを割り当てる。
• 重みは $ R_i^j > 0 $ の場合に $ w_i^j = R_i^j \exp\left(\frac{\alpha (R_i^j)^2}{8}\right) $ で定義され、正規化されてヘッジング分布 $ p_i^j $ を形成する。
• パラメータ $ c=4 $ を持つ潜在関数 $ \Phi(x) $ を用いてレグレットを分析し、$ x>0 $ の場合に $ \exp(x^2/8) $、それ以外の場合は 1 として定義される。
• HMMにこの手法を適用する際には、各専門家をモデルの可能なパラメーターベクトルに対応させ、各専門家の信頼度を対応する状態の事後確率とする。
• 各反復における損失が $ L_1 $ で有界であるため、NormalHedgeのレグレット保証と互換性があり、対照的に対数尤度損失とは異なる。
• 解析により、小規模な $ \alpha $ の下で、累積レグレットが $ \sqrt{\frac{8\ln(2.32N)}{\alpha}} $ に一様に有界であることが示された。

実験結果

リサーチクエスチョン

• RQ1 専門家の数 $ N $ を事前に知らなくても、有界なレグレットを達成できる、レグレットベースのオンライン学習アルゴリズムを設計できるか？
• RQ2 このようなアルゴリズムを、HMMのような確率的モデルにおける潜在確率的変数の推定にどのように適応できるか？
• RQ3 潜在関数のパラメータ $ c $ の理論的境界と実際の下限との間のギャップは何か？
• RQ4 真のモデルが仮説集合に含まれない場合、$ L_1 $ 損失下でNormalHedgeはベイジアン平均を上回る性能を示すか？
• RQ5 ゲームの連続時間極限を分析することで、確率的推定と制御に関する新たな知見が得られるか？

主な発見

• NormalHedgeアルゴリズムは、事前に $ N $ を知らなくても、$ R_i^j \leq \sqrt{\frac{8\ln(2.32N)}{\alpha}} $ の一様なレグレットバウンドを達成する。
• マスターよりも割引累積利益が悪い専門家にはゼロ重みが割り当てられ、レジliエンスが向上する。
• 真のモデルが仮説集合に含まれない場合、$ L_1 $ 損失下でこの手法はベイジアン平均を上回る。後者は累積損失が無限大に発散する可能性があるため。
• 潜在関数のパラメータ $ c $ は下限が 1、上限が 4 であり、$ \alpha \to 0 $ の極限ではよりタイトな境界 $ c=2 $ が得られる。
• 各パラメーターベクトルを専門家とみなすことで、事後確率から得られる信頼度を用いて、HMMにおける隠れ状態の効果的な推定が可能になる。
• 真のデータ生成過程と完全に一致する専門家が存在しなくても、集合内で最も性能の良い専門家に収束する。