[论文解读] Optimal M-Type Quantizations of Distributions.

Georg Böcherer, Bernhard C. Geiger|arXiv (Cornell University)|Jul 25, 2013

Advanced Data Compression Techniques被引用 2

一句话总结

本文提出了两种针对离散概率分布M型量化最优算法，分别最小化变分距离或信息散度。推导了渐近紧致的误差界，并表明在这两种度量下最优近似可能显著不同。

ABSTRACT

Finite precision approximations of discrete probability distributions are considered, applicable for distribution synthesis, e.g., probabilistic shaping. Two algorithms are presented that find the optimal $M$-type approximation $Q$ of a distribution $P$ in terms of the variational distance $| Q-P|_1$ and the informational divergence $\mathbb{D}(Q| P)$. Bounds on the approximation errors are derived and shown to be asymptotically tight. Several examples illustrate that the variational distance optimal approximation can be quite different from the informational divergence optimal approximation.

研究动机与目标

• 开发离散概率分布有限精度近似的最优算法。
• 最小化原始分布P与其量化版本Q之间的变分距离||Q - P||₁。
• 将信息散度D(Q||P)作为替代优化准则。
• 为两种优化准则推导近似误差的紧致渐近界。
• 比较并对比基于变分距离最优与信息散度最优的量化在结构上的异同。

提出的方法

• 提出两种不同的优化算法：一种最小化P与Q之间的L1（变分）距离，另一种最小化Kullback-Leibler散度D(Q||P)。
• 采用约束优化框架，确保Q为M型分布（即最多含M个质量点的离散分布）。
• 为两种准则下的最优量化点与概率推导出解析表达式。
• 应用渐近分析，证明所推导的误差界在M增大时为紧致。
• 采用拉格朗日松弛与凸优化技术求解约束最小化问题。
• 通过数值实例验证理论界，展示两种度量下最优解的差异。

实验结果

研究问题

• RQ1 如何仅使用M个质量点最优近似离散概率分布P，以最小化变分距离||Q - P||₁？
• RQ2 如何对P进行最优M型量化，以最小化信息散度D(Q||P)？
• RQ3 基于这两种准则的最优量化在结构与性能上如何比较？
• RQ4 两种准则下近似误差的最紧可能渐近界是什么？
• RQ5 两种最优量化在最终分布形状上可能显著不同吗？

主要发现

• 基于变分距离最优的M型量化最小化P与Q之间的L1差，提供在总变差意义下的鲁棒近似。
• 基于信息散度最优的量化最小化D(Q||P)，在相对熵意义上更有利于保持概率结构。
• 为两种准则推导出紧致的渐近误差界，表明M增大时的收敛速率。
• 两种最优量化可能产生显著不同的分布，表明度量选择对近似结果有显著影响。
• 数值实例证实，两种准则下的最优解不等价，可能在不同的支撑点上分配质量。
• 所推导的界被证明为渐近紧致，确认其在大M情形下的准确性。