[论文解读] Bounds on $f$-Divergences and Related Distances

Igal Sason|arXiv (Cornell University)|Mar 27, 2014

Wireless Communication Security Techniques被引用 3

一句话总结

本文推导了对称 f-散度（如总变差、Hellinger 散度和皮尔逊卡方散度）在总变差距离下的紧致界。证明了这些界可通过二元或三元概率分布实现，并将其应用于改进无损源编码的界以及信道码检测。

ABSTRACT

Tight bounds for several symmetric divergence measures are derived in terms of the total variation distance. It is shown that each of these bounds is attained by a pair of 2 or 3-element probability distributions. An application of these bounds for lossless source coding is provided, refining and improving a certain bound by Csiszar. Another application of these bounds has been recently introduced by Yardi. et al. for channel-code detection.

研究动机与目标

• 通过以总变差距离为参考度量，推导对称 f-散度的紧致、显式界。
• 识别实现这些界的最小概率空间（二元或三元分布）。
• 改进信息论中的现有界，特别是无损源编码中的 Csiszár 界。
• 在信道码检测等应用中实现更优的性能分析。

提出的方法

• 通过利用 f-散度函数的凸性和对称性，推导对称 f-散度的解析界。
• 通过对二元或三元概率分布进行变分优化，识别出实现最紧致界的极值配置。
• 以总变差距离表达界，建立 f-散度与这一基本度量之间的直接函数关系。
• 通过信息论不等式，将推导出的界应用于改进 Csiszár 在无损源编码中的界。
• 通过构造显式的二点或三点分布，验证界的真实性，使其在推导的不等式中达到等式。
• 利用 f-散度理论中已知的对偶性和极小极大原理，建立所推导界最优性的证明。

实验结果

研究问题

• RQ1 以总变差距离表示时，对称 f-散度的最紧致上界是什么？
• RQ2 在所有可能的分布中，哪些概率分布能实现最紧致的界？
• RQ3 这些界如何用于改进无损源编码中的现有性能极限？
• RQ4 这些界能否用于加强信道码分析中的检测标准？

主要发现

• 以总变差距离表示，推导出对称 f-散度的紧致界，并给出了显式的函数形式。
• 证明了这些界是紧致的，并由特定的二元或三元概率分布实现。
• 所推导的界改进了 Csiszár 在无损源编码中的界，对编码效率提供了更紧致的刻画。
• 结果可应用于信道码检测，如 Yardi 等人所展示，增强了检测性能的界。
• 分析表明，这些界对应的极值分布是稀疏的，仅涉及两个或三个结果。
• 该方法建立了一个通用框架，将多个 f-散度与单一参考度量（总变差）关联起来。