[论文解读] Context Tree Selection: A Unifying View

Aurélien Garivier, Florencia Leonardi|arXiv (Cornell University)|Nov 10, 2010

Algorithms and Data Compression参考文献 16被引用 4

一句话总结

本文提出了一种统一的非渐近分析，针对两种上下文树估计方法——Rissanen 的算法 Context 和惩罚最大似然法（PML）——证明了在无需有界性或失忆条件的前提下，两种估计器几乎必然为真实上下文树 $T_0$ 的子树。关键贡献是通过局部鞅技巧推导出一类新型自归一化偏差不等式，从而在有限时域内对过度估计和低估的概率建立了更广义的界。

ABSTRACT

The present paper investigates non-asymptotic properties of two popular procedures of context tree (or Variable Length Markov Chains) estimation: Rissanen's algorithm Context and the Penalized Maximum Likelihood criterion. First showing how they are related, we prove finite horizon bounds for the probability of over- and under-estimation. Concerning overestimation, no boundedness or loss-of-memory conditions are required: the proof relies on new deviation inequalities for empirical probabilities of independent interest. The underestimation properties rely on loss-of-memory and separation conditions of the process. These results improve and generalize the bounds obtained previously. Context tree models have been introduced by Rissanen as a parsimonious generalization of Markov models. Since then, they have been widely used in applied probability and statistics.

研究动机与目标

• 统一分析两种主要的上下文树估计方法：Rissanen 的算法 Context 和惩罚最大似然法（PML）
• 在不依赖有界记忆或失忆假设的前提下，建立有限时域内对过度估计和低估概率的非渐近界
• 利用局部鞅技巧推导出适用于经验概率的新型自归一化偏差不等式，其应用范围超越上下文树估计
• 证明在适当参数选择下，PML 估计器始终小于算法 Context 估计器
• 通过去除先前研究中对混合性或非零性条件的限制，改进了过度估计界的结果

提出的方法

• 基于受重置迭代对数律启发的局部鞅技术，推导出适用于经验概率的新型自归一化偏差不等式
• 利用这些不等式在不假设真实过程具有有界性或失忆性质的前提下，控制过度估计的概率
• 建立支配关系：在适当参数选择下，PML 估计器始终小于算法 Context 估计器
• 应用 Pinsker 不等式和集中不等式，在经典混合条件下推导低估概率的上界
• 依赖弱依赖性假设（假设 1）及系数 $\alpha_0$、$\beta_k$ 来控制经验估计的尾部行为
• 利用上下文树的结构和节点特定的经验频率，分析树各层级上的估计误差

实验结果

研究问题

• RQ1 在有限样本下，算法 Context 和 PML 估计器的过度估计概率如何比较？
• RQ2 能否在不假设真实过程具有有界记忆或失忆性质的前提下控制过度估计？
• RQ3 从模型规模和结构角度看，PML 估计器与算法 Context 估计器之间存在何种关系？
• RQ4 对于具有无限记忆的过程，什么条件下可以对上下文树选择中的低估概率进行界控？
• RQ5 能否推导出适用于弱依赖设定下经验过程的自归一化且适用的新型偏差不等式？

主要发现

• 当参数选择适当时，PML 估计器始终小于算法 Context 估计器，确立了两种方法之间的支配关系
• 在一般条件下，两种估计器几乎必然为真实上下文树 $T_0$ 的子树，且控制过度估计无需有界性或失忆假设
• 本文推导出新型自归一化偏差不等式，优于先前结果，适用于一大类弱依赖过程
• 过度估计概率的界不依赖于转移概率下确界远离零的假设
• 在经典混合条件下，低估概率呈指数级小，其界依赖于转移概率的平方差与上下文长度
• 所导出的界推广并改进了 [12, 17, 18, 22] 中的早期结果，在上下文树估计的渐近与非渐近分析方面均有提升