[论文解读] Cell-Probe Lower Bounds for Prefix Sums

Emanuele Viola|ArXiv.org|Jun 7, 2009

Algorithms and Data Compression参考文献 2被引用 4

一句话总结

本文建立了前缀和问题的首个单元探测下界，证明任何非自适应数据结构若探测 q 个 lg n 位的单元，其内存使用量至少为 n + n/log^Ω(q) n，与 Pătraşcu（2008）的最佳已知上界一致。证明依赖于利用分离引理和信息论工具打破查询答案之间的统计依赖性，当数据结构过于节省空间时导出矛盾。

ABSTRACT

We prove that to store n bits x so that each prefix-sum query Sum(i) := sum_{k < i} x_k can be answered by non-adaptively probing q cells of log n bits, one needs memory > n + n/log^{O(q)} n. Our bound matches a recent upper bound of n + n/log^{Omega(q)} n by Patrascu (FOCS 2008), also non-adaptive. We also obtain a n + n/log^{2^{O(q)}} n lower bound for storing a string of balanced brackets so that each Match(i) query can be answered by non-adaptively probing q cells. To obtain these bounds we show that a too efficient data structure allows us to break the correlations between query answers.

研究动机与目标

• 为支持前缀和查询的紧凑数据结构的已知上下界之间的差距提供闭合。
• 为存储位串并支持前缀和查询的非自适应单元探测数据结构建立紧致下界。
• 将下界技术扩展至平衡括号问题，其中支持匹配括号查询。
• 证明过于节省空间的数据结构会破坏查询答案之间的统计相关性，从而导致矛盾。
• 提供一种通用框架，通过统计独立性和熵论证在数据结构中证明下界。

提出的方法

• 使用分离引理寻找前缀和的不相交单元探测，确保查询单元之间无重叠。
• 应用平均值论证固定一组小单元（B）的取值，将问题简化为独立探测。
• 采用信息论引理识别一组均匀分布的单元，使查询响应近乎独立。
• 通过证明在过于高效的数据结构下，两个相关前缀和事件的联合概率将超过已知界限，从而构造矛盾。
• 对划分后的输入段使用熵论证，识别出在给定先前位时仍具有高熵的变量，这些变量几乎均匀分布。
• 应用集中不等式和概率不等式，推导出查询结果概率中的矛盾。

实验结果

研究问题

• RQ1 非自适应前缀和数据结构是否可以使用少于 n + n/log^Ω(q) n 的内存？
• RQ2 支持前缀和查询的非自适应单元探测数据结构所需的最小冗余量是多少？
• RQ3 相同的技术能否应用于其他具有相关查询答案的问题，例如平衡括号匹配？
• RQ4 过于高效的数据结构是否必然破坏查询响应之间的统计依赖性？
• RQ5 信息论工具是否可用于在单元探测模型中推导紧致下界？

主要发现

• 本文证明了非自适应前缀和数据结构的内存下界为 n + n/log^A·q n，与 Pătraşcu 的上界一致。
• 该下界对前缀和问题和平衡括号问题均成立，具有相同的渐近形式。
• 证明表明，若数据结构过于节省空间，则会使查询答案在统计上趋于独立，与已知的联合概率相矛盾。
• 分离引理确保了存在一个具有不相交探测集合的大索引集，从而支持独立分析。
• 分析识别出一组在给定先前位条件下的输入位，其熵仍很高，这对矛盾的产生至关重要。
• 最终矛盾源于证明两个相关事件的联合概率过大，违反了已知界限。