[论文解读] Benefiting from Disorder: Source Coding for Unordered Data

Lav R. Varshney, Vivek K Goyal|ArXiv.org|Aug 17, 2007

Algorithms and Data Compression参考文献 54被引用 3

一句话总结

本文研究无序数据的信源编码，表明将多重集（无序集合）而非序列（有序数据）作为处理对象，可实现显著的速率节省。在无损编码中，速率从 O(n) 降低至 Θ(log n)；在有损编码中，在弱矩条件下的零速率可实现任意低的失真，证明了无序性从根本上降低了编码复杂度。

ABSTRACT

The order of letters is not always relevant in a communication task. This paper discusses the implications of order irrelevance on source coding, presenting results in several major branches of source coding theory: lossless coding, universal lossless coding, rate-distortion, high-rate quantization, and universal lossy coding. The main conclusions demonstrate that there is a significant rate savings when order is irrelevant. In particular, lossless coding of n letters from a finite alphabet requires Theta(log n) bits and universal lossless coding requires n + o(n) bits for many countable alphabet sources. However, there are no universal schemes that can drive a strong redundancy measure to zero. Results for lossy coding include distribution-free expressions for the rate savings from order irrelevance in various high-rate quantization schemes. Rate-distortion bounds are given, and it is shown that the analogue of the Shannon lower bound is loose at all finite rates.

研究动机与目标

• 分析无序性对多个领域中信源编码的影响，包括无损与有损编码、通用编码及率失真理论。
• 量化当源数据被视作多重集而非序列时可实现的速率节省，尤其在高码率和高维设置下。
• 建立无序数据通用编码中冗余的理论极限，表明强冗余减少是不可行的。
• 探讨在数据库压缩、分布式推断和量子统计力学等应用中的实际影响。

提出的方法

• 使用置换不变等价类重新定义无损编码中的事件代数，将多重集作为基本信源对象。
• 应用组合与熵基分析推导多重集无损编码的速率界，表明有限字母表下为 Θ(log n) 比特。
• 引入具有置换不变性的保真度准则，以建模无序性下的有损编码，避免单字母表征。
• 采用高码率量化分析，表明块大小为 K 时，形状与记忆优势可带来 log K! 比特的速率节省，优于标量量化。
• 推导率失真界，并证明在无序性下，香农下界在所有有限码率下均不紧。
• 运用统计物理与组合学工具，包括玻色-爱因斯坦统计与莫比乌斯多项式，以建模不可区分性与置换类。

实验结果

研究问题

• RQ1 当源数据被视为无序而非有序时，可实现的根本性速率降低是多少？
• RQ2 尽管速率降低，当无序性存在时，通用编码方案是否仍能实现可忽略的冗余？
• RQ3 在无序性下，有损编码在多大程度上可实现零速率并达到任意小的失真？
• RQ4 当无序性存在时，量化中包含形状与记忆特性如何影响速率节省？
• RQ5 为何在无序性下，香农下界在率失真函数中不紧？

主要发现

• 当无序性存在时，从有限字母表中编码 n 个字符仅需 Θ(log n) 比特，相比标准编码的 O(n) 有显著降低。
• 对于许多可数字母表源，通用无损编码仅需 n + o(n) 比特，远少于有序情况下所需的 cn 比特。
• 尽管速率降低，但在无序性下，没有任何通用编码方案能将强冗余度量降至零。
• 对于每符号均方误差失真，若源分布满足弱矩条件，则在 n → ∞ 时，零速率可实现任意小的均方误差。
• 对大小为 K 的块进行高码率量化时，相比标量量化，可因形状与记忆优势节省 log K! 比特。
• log K! 比特的全部速率节省仅在码率趋于无穷的极限下可实现，而非在任何有限码率下，表明率失真性能中存在根本性权衡。