[论文解读] Mismatched Guesswork

Salman Salamatian, Litian Liu+2 more|arXiv (Cornell University)|Jul 1, 2019

Algorithms and Data Compression参考文献 23被引用 4

一句话总结

本文提出了一个不匹配猜测度的大型偏差原理（LDP），其中使用与真实分布 $\n$ 不同的不匹配分布 $\n$ 来评估猜测度。结果表明，渐近猜测度增长由真实分布 $\mu$ 投影到 $\n$ 的倾斜族上的熵所决定，并且一对一源编码比前缀码对分布不匹配更具鲁棒性，当且仅当真实分布位于不匹配分布的倾斜族上时，性能损失才会消失。

ABSTRACT

We study the problem of mismatched guesswork, where we evaluate the number of symbols $y \in \mathcal{Y}$ which have higher likelihood than $X \sim μ$ according to a mismatched distribution $ν$. We discuss the role of the tilted/exponential families of the source distribution $μ$ and of the mismatched distribution $ν$. We show that the value of guesswork can be characterized using the tilted family of the mismatched distribution $ν$, while the probability of guessing is characterized by an exponential family which passes through $μ$. Using this characterization, we demonstrate that the mismatched guesswork follows a large deviation principle (LDP), where the rate function is described implicitly using information theoretic quantities. We apply these results to one-to-one source coding (without prefix free constraint) to obtain the cost of mismatch in terms of average codeword length. We show that the cost of mismatch in one-to-one codes is no larger than that of the prefix-free codes, i.e., $D(μ\| ν)$. Further, the cost of mismatch vanishes if and only if $ν$ lies on the tilted family of the true distribution $μ$, which is in stark contrast to the prefix-free codes. These results imply that one-to-one codes are inherently more robust to mismatch.

研究动机与目标

• 分析当用于猜测的分布与真实源分布不一致时，猜测度的大偏差行为。
• 利用倾斜族的几何性质，刻画不匹配猜测度的渐近增长速率。
• 将结果应用于一对一源编码，并与前缀码比较其对不匹配的鲁棒性。
• 确定不匹配性能损失在源编码中消失的条件。

提出的方法

• 分析使用真实分布 $\n$ 和不匹配分布 $\n$ 的倾斜（指数）族，通过将这些族上的分布进行几何投影。
• 通过真实分布 $\n$ 与不匹配分布 $\n$ 的倾斜族上分布之间的相对熵，隐式刻画LDP的速率函数。
• 通过在 $\n$ 的倾斜族上进行变分优化，推导出猜测度的渐近增长速率，将其与投影分布的熵联系起来。
• 通过码字长度与猜测度值之间的对应关系，建立猜测度与一对一源编码之间的联系，从而可直接应用LDP结果。
• 利用洛必达法则和极限分析，从猜测度的LDP推导出不匹配一对一编码的可靠性函数和平均码字长度。
• 证明依赖于最优一对一码满足 $g_{\n}(x^n) \leq l(f^*_{\n}(x^n)) < g_{\n}(x^n)+1$ 的事实，从而可将猜测度结果转化为编码性能。

实验结果

研究问题

• RQ1 当猜测分布与真实源分布不匹配时，猜测度的大偏差行为如何变化？
• RQ2 不匹配猜测度的渐近增长速率是什么？其信息论量如何表征？
• RQ3 一对一源编码中的不匹配性能损失与前缀码相比如何？
• RQ4 在什么条件下，一对一源编码中的不匹配成本会消失？
• RQ5 不匹配一对一编码的可靠性函数和平均码字长度能否用猜测度的LDP来表达？

主要发现

• 不匹配猜测度满足一个大型偏差原理（LDP），其速率函数通过不匹配分布 $\n$ 的倾斜族上分布与真实分布 $\n$ 之间的相对熵隐式定义。
• 不匹配猜测度的渐近增长速率由 $H(\Pi_{\mathcal{T}_{\nu}}(\mu))$ 给出，即 $\mu$ 投影到 $\n$ 的倾斜族上的熵。
• 不匹配一对一源编码中的平均码字长度为 $L(\n\|\mu) = H(\Pi_{\mathcal{T}_{\nu}}(\mu))$，该值始终小于或等于前缀码中的对应长度。
• 一对一编码中的不匹配成本上界为 $D(\mu\|\n)$，即真实分布与不匹配分布之间的KL散度，且该成本严格小于前缀码中的成本。
• 当且仅当 $\mu$ 位于 $\n$ 的倾斜族上，即 $\mu \in \mathcal{T}_{\nu}^{+}$ 时，不匹配导致的性能损失才会消失。
• 不匹配一对一编码的可靠性函数为 $E(R,\n\|\mu) = J(R)$，与猜测度推导出的LDP速率函数一致，证实了猜测度与编码性能之间的紧密联系。