[论文解读] A Unified Framework for Problems on Guessing, Source Coding and Task Partitioning

M. Ashok Kumar, Albert Sunny+2 more|arXiv (Cornell University)|Jul 16, 2019

Wireless Communication Security Techniques参考文献 16被引用 4

一句话总结

本文提出了一种统一的优化框架，通过Rényi熵和Sundaresan的散度将信源编码、猜测问题和任务划分问题联系起来。通过推广Campbell的累积量最小化和Arikan的猜测问题，作者利用Rényi熵推导出下界，并将结果扩展到不匹配设置，揭示了这些信息论问题之间深刻的结构相似性。

ABSTRACT

We study four problems namely, Campbell's source coding problem, Arikan's guessing problem, Huieihel et al.'s memoryless guessing problem, and Bunte and Lapidoth's task partitioning problem. We observe a close relationship among these problems. In all these problems, the objective is to minimize moments of some functions of random variables, and Rényi entropy and Sundaresan's divergence arise as optimal solutions. This motivates us to establish a connection among these four problems. In this paper, we study a more general problem and show that Rényi and Shannon entropies arise as its solution. We show that the problems on source coding, guessing and task partitioning are particular instances of this general optimization problem, and derive the lower bounds using this framework. We also refine some known results and present new results for mismatched version of these problems using a unified approach. We strongly feel that this generalization would, in addition to help in understanding the similarities and distinctiveness of these problems, also help to solve any new problem that falls in this framework.

研究动机与目标

• 将信息论中看似不同的问题——信源编码、猜测和任务划分——统一在一个数学优化框架下。
• 证明Rényi熵和Sundaresan的散度在这些问题中自然地成为最优解。
• 通过所提出的泛化方法改进已知结果，并为这些问题的不匹配版本推导出新的边界。
• 通过突出结构上的相似性与差异性，为解决属于此统一框架的新问题提供基础。

提出的方法

• 制定一个一般性优化问题，以最小化随机变量函数的矩，其中Rényi熵是最优解。
• 应用Campbell的累积量最小化原理，推导信源编码的边界，并通过Sundaresan的散度将该方法扩展到不匹配设置。
• 利用Rényi熵与相对α-Rényi熵（即Sundaresan的散度）之间的对偶性，统一各类问题的下界。
• 利用Rényi熵的性质，包括当α→1时的极限行为（退化为Shannon熵），统一渐近结果。
• 构造配分函数，并使用概率不等式（如Hölder不等式）推导猜测和划分函数矩的边界。
• 应用变分技术和对概率分布的优化，证明边界的紧致性及渐近收敛性。

实验结果

研究问题

• RQ1 如何将信源编码、猜测和任务划分问题统一在一个单一的优化框架下？
• RQ2 Rényi熵在最小化码长、猜测次数和划分函数的矩中扮演什么角色？
• RQ3 不匹配分布如何影响这些问题的性能边界？能否使用相对α-Rényi熵对其进行量化？
• RQ4 在长序列极限下，能否使用Rényi熵表征猜测和编码矩的渐近行为？
• RQ5 该框架对信息论中的新问题（尤其是连续或无限状态空间中的问题）有何启示？

主要发现

• 该通用优化框架统一了信源编码、猜测和任务划分问题，其中Rényi熵作为最小化随机变量函数矩的最优解自然浮现。
• 对于猜测问题，本文证明：当log N > Hₐ(P)且ρ > 0时，有limₙ→∞𝔼[Aₙ(Xⁿ)ᵖ] = 1，表明具有渐近最优性。
• 当log N < Hₐ(P)时，ρ阶矩随n→∞发散至无穷大，表明性能存在关于字母表大小和Rényi熵的清晰阈值。
• 通过Sundaresan的散度分析不匹配情形，表明不匹配的惩罚由Iₐ(P,Q)捕获，将Campbell的结果推广到一般α值。
• 该框架为所有三类问题提供了紧致的下界，其中Rényi熵Hₐ(P)在每种情况下均构成基本极限。
• 本文证明最优划分函数可表示为A(x) = Z_Q,α / (N Q(x)^α)，从而将各类问题中最优解的结构联系起来。