[论文解读] Non-Asymptotic Converse Bounds and Refined Asymptotics for Two Lossy Source Coding Problems

Lin Zhou, Mehul Motani|arXiv (Cornell University)|Aug 18, 2017

Wireless Communication Security Techniques参考文献 44被引用 4

一句话总结

本文为两个多终端失真源编码问题——Kaspi问题和Fu-Yeung问题——建立了非渐近对偶界和精细化渐近逼近。通过引入一种畸变倾斜的信息密度，并利用最优测试信道的性质，作者们基于Berry-Esseen定理和量身定制的类型覆盖引理，推导出离散无记忆源的非渐近对偶界，并建立了第二阶、大偏差和中等偏差渐近行为。

ABSTRACT

In this paper, we revisit two multi-terminal lossy source coding problems: the lossy source coding problem with side information available at the encoder and one of the two decoders, which we term as the Kaspi problem (Kaspi, 1994), and the multiple description coding problem with one semi-deterministic distortion measure, which we refer to as the Fu-Yeung problem (Fu and Yeung, 2002). For the Kaspi problem, we first present the properties of optimal test channels. Subsequently, we generalize the notion of the distortion-tilted information density for the lossy source coding problem to the Kaspi problem and prove a non-asymptotic converse bound using the properties of optimal test channels and the well-defined distortion-tilted information density. Finally, for discrete memoryless sources, we derive refined asymptotics which includes the second-order, large and moderate deviations asymptotics. In the converse proof of second-order asymptotics, we apply the Berry-Esseen theorem to the derived non-asymptotic converse bound. The achievability proof follows by first proving a type-covering lemma tailored to the Kaspi problem, then properly Taylor expanding the well-defined distortion-tilted information densities and finally applying the Berry-Esseen theorem. We then generalize the methods used in the Kaspi problem to the Fu-Yeung problem. As a result, we obtain the properties of optimal test channels for the minimum sum-rate function, a non-asymptotic converse bound and refined asymptotics for discrete memoryless sources. Since the successive refinement problem is a special case of the Fu-Yeung problem, as a by-product, we obtain a non-asymptotic converse bound for the successive refinement problem, which is a strict generalization of the non-asymptotic converse bound for successively refinable sources (Zhou, Tan and Motani, 2017).

研究动机与目标

• 为多终端失真源编码中的Kaspi问题和Fu-Yeung问题建立非渐近对偶界。
• 为这些问题中的离散无记忆源推导精细化渐近逼近——包括第二阶、大偏差和中等偏差。
• 将畸变倾斜信息密度的概念推广至Kaspi问题，并利用最优测试信道的性质以获得更紧的界。
• 将这些方法扩展至后续精细编码问题作为特例，从而严格推广了先前的非渐近界。
• 提供一个统一框架，用于在渐近范围之外分析速率-失真权衡，采用有限块长分析技术。

提出的方法

• 为Kaspi问题引入一种针对该问题定制的广义畸变倾斜信息密度，扩展了标准失真源编码中的概念。
• 通过变分优化和Lagrangian对偶性，刻画Kaspi问题和Fu-Yeung问题中最优测试信道的性质。
• 通过结合最优测试信道的性质、畸变倾斜信息密度与集中不等式，推导出非渐近对偶界。
• 将Berry-Esseen定理应用于非渐近对偶界，以建立包含显式发散项的第二阶渐近行为。
• 开发一种专用于Kaspi问题的类型覆盖引理，以支持可实现性证明，随后对畸变倾斜密度进行泰勒展开。
• 将该方法推广至Fu-Yeung问题，获得最小和速率函数的非渐近界与精细化渐近行为。

实验结果

研究问题

• RQ1 在联合畸变约束下，Kaspi问题中最优测试信道的结构特性是什么？
• RQ2 如何利用广义畸变倾斜信息密度为Kaspi问题推导非渐近对偶界？
• RQ3 对于离散无记忆源，Kaspi问题的第二阶、大偏差和中等偏差渐近行为是什么？
• RQ4 能否将为Kaspi问题开发的方法扩展至Fu-Yeung问题，以获得类似的非渐近与渐近结果？
• RQ5 所推导的后续精细编码问题的非渐近对偶界与文献中先前的边界相比如何？

主要发现

• 通过畸变倾斜信息密度和最优测试信道的性质，为Kaspi问题建立了非渐近对偶界。
• 通过将Berry-Esseen定理应用于非渐近对偶界，推导出Kaspi问题的第二阶渐近行为，获得了发散项。
• Kaspi问题的可实现性证明依赖于一种新颖的类型覆盖引理，以及对畸变倾斜信息密度的泰勒展开。
• 该方法被推广至Fu-Yeung问题，从而为最小和速率函数获得了非渐近对偶界与精细化渐近行为。
• 作为副产品，为后续精细编码问题获得了一个非渐近对偶界，该界严格推广了Zhou、Tan和Motani（2017）的先前工作。
• 所推导的边界具有紧致性，并显式考虑了有限块长效应，从而能够精确刻画渐近范围之外的速率-失真权衡。