[論文レビュー] Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families

Peter L. Bartlett, Peter Grünwald+3 more|arXiv (Cornell University)|May 19, 2013

Advanced Bandit Algorithms Research参考文献 14被引用数 9

ひとこと要約

本稿では、対数損失の下で、逐次正規化最大尤度（SNML）予測戦略が交換可能かつ時間枠に依存しない唯一の1パラメータ指数型分布族として、正規分布、ガンマ分布、および Tweedie(3/2) が同定されている。著者らは、SNMLが最小最大条件付きNML（CNML）戦略と一致するのは、これらの族に限ることを証明しており、これは、時間枠の事前知識がなくてもジェフリーズ事前分布を用いたベイズ予測が最適であることを示唆している。

ABSTRACT

We study online learning under logarithmic loss with regular parametric models. Hedayati and Bartlett (2012b) showed that a Bayesian prediction strategy with Jeffreys prior and sequential normalized maximum likelihood (SNML) coincide and are optimal if and only if the latter is exchangeable, and if and only if the optimal strategy can be calculated without knowing the time horizon in advance. They put forward the question what families have exchangeable SNML strategies. This paper fully answers this open problem for one-dimensional exponential families. The exchangeability can happen only for three classes of natural exponential family distributions, namely the Gaussian, Gamma, and the Tweedie exponential family of order 3/2. Keywords: SNML Exchangeability, Exponential Family, Online Learning, Logarithmic Loss, Bayesian Strategy, Jeffreys Prior, Fisher Information1

研究の動機と目的

• 対数損失の下で、時間枠に依存しない最適予測戦略を許容する1パラメータ指数型分布族を特定すること。
• 逐次正規化最大尤度（SNML）戦略が条件付き正規化最大尤度（CNML）戦略と一致する条件という未解決の問題を解明すること。
• SNMLが交換可能であることを満たす指数型分布族を特定し、時間枠に依存しない最適予測を可能にする。
• 交換可能性条件を満たすのは、正規分布、ガンマ分布、Tweedie(3/2) の3つの族に限られることを特定すること。
• これらの族において、ジェフリーズ事前分布を用いたベイズ予測が、時間枠の事前知識がなくても最小最大リグレットを達成できることを示すこと。

提案手法

• 対数損失の下で、1次元の指数型分布族におけるSNML戦略の交換可能性を分析する。
• 指数型分布族の分散関数の特徴づけを用いて、SNMLの交換可能性に必要な条件を導出する。
• モーリスによる、分散関数が2次および累乗関数型である指数型分布族の分類を適用し、候補となる族を同定する。
• 分散関数の形を介して交換可能性に必要な条件を導出し、2つのケースに分ける：2次関数型（quadratic）および累乗関数型（V(μ) ∝ μ^{3/2}）。
• 交換可能性を満たすのは、正規分布（2次分散関数）、ガンマ分布（2次分散関数）、Tweedie(3/2)（指数3/2の累乗関数型分散関数）の3つの族に限られることを示す。
• SNMLの交換可能性が、最小最大戦略が時間枠に依存しないことを示し、このような戦略がジェフリーズ事前分布を用いたベイズ予測と一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 どの1パラメータ指数型分布族に対して、SNML予測戦略が交換可能か？
• RQ2 SNML戦略が最小最大条件付きNML（CNML）戦略と一致するのはどのような条件下か？
• RQ3 最適予測戦略が時間枠に依存しない、すなわち時間枠の事前知識が不要なのはいつか？
• RQ4 どの指数型分布族において、ジェフリーズ事前分布を用いたベイズ予測が、時間枠に依存しない最小最大リグレットを達成できるか？
• RQ5 最大平均母数パラメータ空間を持つ指数型分布族の完全な特徴づけは何か？その中で交換可能なSNML戦略が実現可能である。

主な発見

• SNMLが交換可能な唯一の1パラメータ指数型分布族は、正規分布、ガンマ分布、Tweedie(3/2) である。
• SNMLの交換可能性は、分散関数が2次関数型（正規分布およびガンマ分布）または μ^{3/2} に比例する（Tweedie(3/2)）場合に限り成立する。
• これらの3つの族において、SNML戦略は最小最大CNML戦略と一致し、時間枠の事前知識がなくても最適な予測が可能である。
• ジェフリーズ事前分布を用いたベイズ予測は、これらの族において最小最大リグレットを達成でき、その戦略は時間枠に依存しない。
• この結果は、NMLが条件付けされない限り常に時間枠に依存することを示唆しており、時間枠に依存しない最適性を達成できるのは、条件付きNML（またはSNML）に限ることを示している。
• この特徴づけは、3つの基本族の固定変換によって得られる族、例えばパレート分布、ラプラス分布、レイリー分布などにも拡張可能である。