[论文解读] Guessing Revisited: A Large Deviations Approach

Manjesh K. Hanawal, Rajesh Sundaresan|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Aug 11, 2010

Computability, Logic, AI Algorithms参考文献 17被引用 4

一句话总结

本文为猜测问题建立了一个大偏差框架，表明当信息谱满足大偏差原理（LDP）时，极限猜测指数存在。该指数由速率函数的Legendre-Fenchel对偶的标量倍数给出，统一了先前关于Rényi熵速率和指数成本下压缩指数的结果。

ABSTRACT

The problem of guessing a random string is revisited. A close relation between guessing and compression is first established. Then it is shown that if the sequence of distributions of the information spectrum satisfies the large deviation property with a certain rate function, then the limiting guessing exponent exists and is a scalar multiple of the Legendre-Fenchel dual of the rate function. Other sufficient conditions related to certain continuity properties of the information spectrum are briefly discussed. This approach highlights the importance of the information spectrum in determining the limiting guessing exponent. All known prior results are then re-derived as example applications of our unifying approach.

研究动机与目标

• 通过基于大偏差的通用充分条件，统一现有关于猜测指数的结果。
• 在指数成本下，建立猜测与压缩之间的精确联系，证明其极限指数相等。
• 在LDP条件下，证明极限猜测指数等于信息谱速率函数的Legendre-Fenchel对偶。
• 提供一个适用于i.i.d.、马尔可夫和单向源的一般框架，超越先前的具体情形。
• 强调信息谱作为控制猜测与压缩极限行为的核心对象的作用。

提出的方法

• 在指数成本下建立猜测与压缩之间的对偶性，证明极限猜测指数等于极限压缩指数。
• 将Varadhan定理应用于信息谱 $ \frac{1}{n}\ln \frac{1}{P_n(X^n)} $ 的渐近积分，假设其满足大偏差原理（LDP）。
• 使用Legendre-Fenchel变换将极限猜测指数表示为 $ \sup_t \{ \beta t - I(t) \} $，其中 $ I(t) $ 是LDP的速率函数。
• 证明信息谱的矩生成函数收敛到归一化的Rényi熵速率，从而将结果与已知的基于熵的度量联系起来。
• 通过利用字母表的基数和指数衰减来界定尾部概率，验证Varadhan定理中的技术条件（36）。
• 应用Ky Fan的极大极小结果，确保在压缩公式中可交换上确界与下确界，从而保证最优长度函数的存在性。

实验结果

研究问题

• RQ1 在何种一般条件下，序列分布的极限猜测指数存在？
• RQ2 在Campbell编码问题的指数成本下，猜测指数与压缩指数之间有何关系？
• RQ3 信息谱 $ \frac{1}{n}\ln \frac{1}{P_n(X^n)} $ 在确定极限猜测指数中的精确作用是什么？
• RQ4 信息谱速率函数的Legendre-Fenchel对偶能否用于表征极限猜测指数？
• RQ5 哪些类型的源（如i.i.d.、马尔可夫、单向源）满足其信息谱的大偏差性质？

主要发现

• 若信息谱满足大偏差原理，则极限猜测指数 $ E(\rho) = \lim_{n\to\infty} \frac{1}{n} \ln \mathbb{E}[G_n^*(X^n)^\rho] $ 存在。
• 极限指数由 $ \beta \cdot \sup_t \{ t - I(t) \} $ 给出，其中 $ \beta = \rho/(1+\rho) $，且 $ I(t) $ 为LDP的速率函数。
• 该结果推广了已知情形：对于i.i.d.源，指数退化为 $ \rho H_\alpha(P_1) $，其中 $ \alpha = 1/(1+\rho) $，与Rényi熵一致。
• 对于不可约马尔可夫链，指数等于转移矩阵的 $ \alpha $ 次幂的Perron-Frobenius特征值的对数。
• 在指数成本下，猜测与压缩之间的等价性得到正式确立：两者指数相等，且均由信息谱的同一归一化累积量决定。
• 所有已知情形（i.i.d.、马尔可夫、单向、有限状态源）均满足LDP条件，因此极限指数存在，这通过大偏差框架得以证明。