[论文解读] A unified approach to source and message compression

Anurag Anshu, Rahul Jain+1 more|arXiv (Cornell University)|Jul 12, 2017

Wireless Communication Security Techniques参考文献 43被引用 7

一句话总结

本文提出了一种统一的一次性框架，用于点对点和多方通信场景下的源压缩与消息压缩，采用凸分割和基于位置的解码技术。通过平滑最大散度和假设检验散度，推导出紧致界，恢复了已知的独立同分布结果，并通过反向界证明了带侧信息的消息压缩的近似最优性。

ABSTRACT

We study the problem of source and message compression in the one-shot setting for the point-to-point and multi-party scenarios (with and without side information). We derive achievability results for these tasks in a unified manner, using the techniques of convex-split, which was introduced in [Anshu,Devabathini and Jain 2014] and position-based decoding introduced in [Anshu, Jain and Warsi 2017], which in turn uses hypothesis testing between distributions. These results are in terms of smooth max divergence and smooth hypothesis testing divergence. As a by-product of the tasks studied in this work, we obtain several known source compression results (originally studied in the asymptotic and i.i.d. setting) in the one-shot case. One of our achievability results includes the problem of message compression with side information, originally studied in [Braverman and Rao 2011]. We show that both our result and the result in [Braverman and Rao 2011] are near optimal in the one-shot setting by proving a converse bound.

研究动机与目标

• 开发一种统一的框架，用于单方和多方通信场景下的一次性源压缩与消息压缩。
• 利用信息论工具，将已知的渐近和独立同分布压缩结果扩展到一次性场景。
• 为带侧信息的消息压缩提供紧致的可达性界，包括通过反向界证明其近似最优性。
• 通过恢复网络通信理论中的若干已知结果，展示该框架的强大力量。

提出的方法

• 作者使用凸分割技术构造一个接近目标乘积分布的分布，通过平滑最大散度确保统计上的接近性。
• 采用基于位置的解码，依赖于分布之间的假设检验来实现受控误差的解码。
• 该框架结合凸分割与基于位置的解码，以平滑假设检验散度为度量推导出可达性界。
• 关键技术组件是引入一个随机变量扩展，以联合建模消息与侧信息，从而实现更紧密的分析。
• 该方法利用信息谱散度，特别是 $\mathrm{D}_s^\varepsilon$ 和 $\mathrm{D}_\mathrm{H}^\varepsilon$，量化通信代价与错误之间的权衡。
• 通过构建分布之间的耦合并利用假设检验，推导出反向界，以界定所需通信量的下限。

实验结果

研究问题

• RQ1 能否通过单一框架统一点对点与多方场景下的一次性源压缩与消息压缩？
• RQ2 平滑最大散度与假设检验散度如何刻画一次性压缩中的通信代价？
• RQ3 已知的独立同分布压缩结果能否在一次性场景中被恢复并得到加强？
• RQ4 所提出的带侧信息消息压缩协议是否近似最优？
• RQ5 凸分割与基于位置的解码在构建紧致界中起到何种作用？

主要发现

• 本文利用平滑假设检验散度，在一次性设置下建立了带侧信息消息压缩的可达性界。
• 通过利用假设检验与分布耦合证明了匹配的反向界，表明所提界具有近似最优性。
• 该框架可作为特例恢复渐近独立同分布设置下的已知结果，证明了其通用性。
• 一个关键技术结果表明：$\mathrm{D}_s^\varepsilon(p_{XMY}\|p_Y(p_{X|Y} \times p_{N|Y})) \geq \mathrm{D}_s^0(p_{XME}\|p_X \times p_U) - \mathrm{D}_\mathrm{H}^\varepsilon(p_{YME}\|p_Y \times p_U)$，将消息与侧信息的复杂度联系起来。
• 凸分割与基于位置的解码的结合，使得源压缩与消息压缩在多种网络拓扑中可实现统一处理。
• 该框架可自然扩展至多方场景，包括双发送方与双接收方，具有广泛网络应用的潜力。