[论文解读] Effective protocols for low-distance file synchronization

Aleksandr Chuklin|arXiv (Cornell University)|Feb 23, 2011

Advanced Data Storage Technologies参考文献 14被引用 4

一句话总结

本文提出了一项关于在有界汉明距离下实现二进制文件同步的通信高效协议的全面综述与扩展，结合编码理论与交互式通信复杂性。文章对现有协议（特别是基于概率和列表解码的方法）提出新颖改进，实现最优通信复杂度 $ H(\alpha)n + o(n) $ 位，其中 $ \alpha $ 为相对汉明距离，且具备多项式时间计算能力，适用于实际部署。

ABSTRACT

Suppose that we have two similar files stored on different computers. We need to send the file from the first computer to the second one trying to minimize the number of bits transmitted. This article presents a survey of results known for this communication complexity problem in the case when files are "similar" in the sense of Hamming distance. We mainly systematize earlier results obtained by various authors in 1990s and 2000s and discuss its connection with coding theory, hashing algorithms and other domains of computer science. In particular cases we propose some improvements of previous constructions.

研究动机与目标

• 系统化并扩展已知的在汉明距离约束下实现通信高效文件同步的结果。
• 弥合通信复杂性理论与分布式文件同步及纠错码实际应用之间的鸿沟。
• 通过引入新构造（包括改进的 NBA 协议和一种计算效率更高的替代概率协议）来改进现有协议。
• 分析交互式通信模型中通信成本、计算复杂度与抗错鲁棒性之间的权衡。
• 探索在接近香农容量的列表可解码码中应用的可能性，以在文件同步中实现最优通信复杂度。

提出的方法

• 采用正式的通信复杂性框架，Alice 与 Bob 通过消息交互实现文件 $ X $ 与 $ Y $ 的同步，其汉明距离有界。
• 使用确定性与概率协议，重点在于最小化传输比特数，同时允许多项式时间计算。
• 应用具备列表解码能力的纠错码，以处理最坏情况错误，并实现接近最优的通信速率。
• 提出一种新协议（协议 4）用于广义 NBA 问题，在通信与计算效率方面优于先前构造。
• 提出一种替代概率协议（定理 3，陈述 11），其通信复杂度匹配信息论下限，且具备多项式时间解码。
• 运用极值组合学与去随机化工具（如 k-一致独立置换）以减少随机性使用并提升效率。

实验结果

研究问题

• RQ1 在交互式通信下，同步两份在最多 $ \alpha n $ 个位置上不同的文件，最少需要多少比特？
• RQ2 概率协议能否在保持多项式时间计算的前提下，达到 $ H(\alpha)n + o(n) $ 位的信息论下限？
• RQ3 如何利用列表解码技术设计具有最优通信复杂度的高效同步协议？
• RQ4 在文件同步中，单轮与多轮协议在计算与通信上的权衡关系如何？
• RQ5 新构造能否在通信成本、计算复杂度或对抗性错误鲁棒性方面优于现有协议？

主要发现

• 本文证明，在汉明距离约束下，文件同步的通信复杂度下限为 $ H(\alpha)n $，且该下限可通过概率协议渐近实现。
• 提出一种新概率协议（陈述 11），实现 $ H(\alpha)n + o(n) $ 通信复杂度，且具备多项式时间计算能力，与理论下限完全匹配。
• 使用接近容量极限的列表可解码码可实现最优通信复杂度，但此类码的构造仍是开放问题。
• 提出一种改进的 NBA 问题变体（陈述 4），提供一种通信与计算效率更高的新协议。
• 本文证明单轮确定性协议为次优，与 Orlitsky（1993, 2003）的早期理论结果一致。
• 在文件同步、纠错码与信息重合之间建立了理论与实践上的联系，凸显其共享的算法原理。