[论文解读] Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families

Peter L. Bartlett, Peter Grünwald+3 more|arXiv (Cornell University)|May 19, 2013

Advanced Bandit Algorithms Research参考文献 14被引用 9

一句话总结

本文确定了在序列归一化最大似然（SNML）预测策略具有可交换性且与时间范围无关的唯一三个单参数指数族——正态分布、伽马分布和Tweedie(3/2)分布。作者证明，仅当且仅当这些族满足条件时，SNML才与最小最大条件NML（CNML）策略一致，这意味着使用Jeffreys先验的贝叶斯预测无需知晓时间范围即可达到最优。

ABSTRACT

We study online learning under logarithmic loss with regular parametric models. Hedayati and Bartlett (2012b) showed that a Bayesian prediction strategy with Jeffreys prior and sequential normalized maximum likelihood (SNML) coincide and are optimal if and only if the latter is exchangeable, and if and only if the optimal strategy can be calculated without knowing the time horizon in advance. They put forward the question what families have exchangeable SNML strategies. This paper fully answers this open problem for one-dimensional exponential families. The exchangeability can happen only for three classes of natural exponential family distributions, namely the Gaussian, Gamma, and the Tweedie exponential family of order 3/2. Keywords: SNML Exchangeability, Exponential Family, Online Learning, Logarithmic Loss, Bayesian Strategy, Jeffreys Prior, Fisher Information1

研究动机与目标

• 确定在对数损失下，哪些单参数指数族允许存在与时间范围无关的最优预测策略。
• 解决SNML策略与条件归一化最大似然（CNML）策略一致的开放问题。
• 刻画SNML具有可交换性的指数族，从而实现与时间范围无关的最优预测。
• 建立仅存在三个族——正态分布、伽马分布和Tweedie(3/2)——满足可交换性条件，这是实现时间不变最优性的必要条件。
• 证明对于这些族，使用Jeffreys先验的贝叶斯预测可实现最小最大后悔值，且无需事先知晓时间范围。

提出的方法

• 分析在对数损失下，一维指数族中SNML策略的可交换性。
• 利用指数族的方差函数表征方法，推导SNML可交换性的必要条件。
• 应用Morris对具有二次方差函数和幂律方差函数的指数族的分类，识别候选族。
• 通过方差函数的形式推导可交换性的必要条件，得出两种情况：二次方差和幂律（V(μ) ∝ μ^{3/2}）。
• 证明仅正态分布（二次方差）、伽马分布（二次方差）和Tweedie(3/2)（幂律方差且指数为3/2）满足所需条件。
• 证明SNML的可交换性意味着最小最大策略与时间范围无关，且此类策略与使用Jeffreys先验的贝叶斯预测一致。

实验结果

研究问题

• RQ1 对于哪些单参数指数族，SNML预测策略具有可交换性？
• RQ2 在何种条件下，SNML策略与最小最大条件NML（CNML）策略一致？
• RQ3 何时最优预测策略与时间范围无关，即无需事先知晓时间范围？
• RQ4 哪些指数族允许使用Jeffreys先验的贝叶斯预测实现最小最大后悔值且不依赖时间范围？
• RQ5 具有最大均值参数空间的指数族的完整刻画是什么，使其支持可交换的SNML策略？

主要发现

• 唯一使SNML具有可交换性的单参数指数族是正态分布、伽马分布和Tweedie(3/2)族。
• SNML可交换性成立的充要条件是方差函数为二次型（正态分布和伽马分布）或与μ^{3/2}成比例（Tweedie(3/2)）。
• 对于这三个族，SNML策略与最小最大CNML策略一致，使得预测在不依赖时间范围的情况下达到最优。
• 对于这些族，使用Jeffreys先验的贝叶斯预测可实现最小最大后悔值，且所得策略与时间范围无关。
• 该结果表明，除非进行条件化，否则NML总是依赖于时间范围；只有条件NML（或SNML）才能实现时间不变的最优性。
• 该刻画可推广至通过对三个基础族进行固定变换得到的族，如帕累托分布、拉普拉斯分布和瑞利分布。