[论文解读] Discrete MDL Predicts in Total Variation

Marcus Hütter|arXiv (Cornell University)|Sep 25, 2009

Machine Learning and Algorithms参考文献 20被引用 8

一句话总结

该论文证明了对于任意可数模型类，最小描述长度（MDL）预测在总变差距离下渐近收敛于真实数据分布，且无需依赖独立同分布、平稳性或遍历性等假设。核心结果表明，即使在时间序列预测和强化学习等复杂非i.i.d.场景下，MDL预测几乎必然与真实测度合并。

ABSTRACT

The Minimum Description Length (MDL) principle selects the model that has the shortest code for data plus model. We show that for a countable class of models, MDL predictions are close to the true distribution in a strong sense. The result is completely general. No independence, ergodicity, stationarity, identifiability, or other assumption on the model class need to be made. More formally, we show that for any countable class of models, the distributions selected by MDL (or MAP) asymptotically predict (merge with) the true measure in the class in total variation distance. Implications for non-i.i.d. domains like time-series forecasting, discriminative learning, and reinforcement learning are discussed.

研究动机与目标

• 建立任意可数模型类下，MDL预测在总变差距离中几乎必然收敛于真实数据分布的目标。
• 消除以往MDL一致性结果中常见的限制性假设，如独立性、平稳性、遍历性或可识别性。
• 证明MDL在时间序列预测和强化学习等非i.i.d.领域中，其预测一致性表现与贝叶斯方法相当。
• 为有限时域预测中的MDL提供一个通用的、非渐近的收敛速率上界。
• 将MDL一致性扩展至判别学习和强化学习场景，其中环境可能为非马尔可夫或非遍历。

提出的方法

• 论文将MDL预测定义为最小化数据与模型复杂度编码长度之和的模型：$\text{MDL}^x := \arg\min_{Q \in \mathcal{M}} \{ -\log Q(x) + K(Q) \}$，其中$K(Q)$为柯尔莫哥洛夫复杂度。
• 采用总变差距离（tvd）作为度量，衡量MDL与真实分布$P$之间的预测偏差，其中$d_\infty(P, \text{MDL}^x|x) \to 0$几乎必然成立，当$\ell \to \infty$时。
• 证明过程分两步：首先针对有限模型类使用集中不等式，然后通过对角化与博雷尔-坎特利引理扩展至可数类。
• 建立了收敛速率上界：$\sum_{\ell=0}^\infty \mathbb{E}[d_h(P, \text{MDL}^x|x)] \leq 21 \cdot h \cdot 2^{K(P)}$，表明预测误差在整个时间范围内可积。
• 该方法适用于一般可测空间$\mathcal{X}$，不限于有限或i.i.i.d.设置。
• 通过将MDL条件化于过去观测$y_{1:\ell}$，将框架扩展至判别学习和强化学习，定义$\text{MDL}^{x|y}$为最小化$-\log Q(x|y) + K(Q)$的模型。

实验结果

研究问题

• RQ1 在无需i.i.i.d.或平稳性假设的前提下，MDL预测是否对任意可数模型类在总变差距离下收敛于真实分布？
• RQ2 在时间序列预测等非i.i.d.场景中，MDL性能如何，其中依赖性和非遍历性普遍存在？
• RQ3 在强化学习等复杂环境中，MDL能否实现与贝叶斯方法相当的几乎必然预测性能收敛？
• RQ4 在有限时域与无限时域设置下，MDL预测收敛至真实分布的速率如何？
• RQ5 在判别学习中，当$y$为非平稳或无穷维时，MDL是否仍能保持一致性，即在给定$y$时预测$x$？

主要发现

• 对于任意可数模型类$\mathcal{M}$，MDL预测在总变差距离中渐近收敛于真实分布$P$：当$\ell \to \infty$时，$d_\infty(P, \text{MDL}^x|x) \to 0$几乎必然成立。
• 收敛为几乎必然收敛，且对模型类无任何假设要求——无需独立性、平稳性、遍历性或可识别性。
• 建立了有限时域收敛速率：$\sum_{\ell=0}^\infty \mathbb{E}[d_h(P, \text{MDL}^x|x)] \leq 21 \cdot h \cdot 2^{K(P)}$，表明预测误差在整个时间范围内可积。
• 在判别学习中，当给定$y$预测$x$时，MDL预测$\text{MDL}^{x|y}$对几乎所有$y_{1:\infty}$也收敛于$P$，即使$\mathcal{Y}$为无穷维或$y_t$非i.i.i.d.。
• 在强化学习中，基于MDL的值函数估计收敛于真实值函数：$V_{\text{MDL}}[xy] - V_P[xy] \to 0$几乎必然成立，适用于任意固定策略。
• 即使真实环境$\mu$为非马尔可夫或非遍历，该结果依然成立，表明MDL对复杂现实世界动态具有强鲁棒性。