[论文解读] A Lower Bound for Succinct Rank Queries

Mihai Pǎtraşcu|ArXiv.org|Jul 6, 2009

Algorithms and Data Compression参考文献 10被引用 3

一句话总结

本文在單元探查模型中建立了簡潔排名資料結構的緊緻下界，證明任何支援 $ t $ 時間內查詢的資料結構，至少需要 $ n + n/w^{O(t)} $ 個位元的空間。此結果與目前已知的最佳上界相符，顯示在標準假設下，排名問題的冗餘與查詢時間之間的權衡在漸近意義上是最優的。

ABSTRACT

The rank problem in succinct data structures asks to preprocess an array A[1..n] of bits into a data structure using as close to n bits as possible, and answer queries of the form rank(k) = Sum_{i=1}^k A[i]. The problem has been intensely studied, and features as a subroutine in a majority of succinct data structures. We show that in the cell probe model with w-bit cells, if rank takes t time, the space of the data structure must be at least n + n/w^{O(t)} bits. This redundancy/query trade-off is essentially optimal, matching our upper bound from [FOCS'08].

研究动机与目标

• 在單元探查模型中，建立簡潔排名資料結構所需空間冗餘的根本下界。
• 彙整現有上界與下界之間關於小查詢時間下排名查詢的差距。
• 證明先前研究中提出的指數冗餘權衡在漸近意義上是最優的。
• 提供一種適用於其他簡潔資料結構問題（如排名與選擇）的一般性下界技術。

提出的方法

• 基於結構化查詢集合上排名查詢答案的聯合機率分佈，使用資訊熵論證。
• 應用條件熵不等式，顯示互不相交查詢集合的答案具有統計相關性，因而需要更多空間來編碼。
• 透過查詢答案、探查路徑與已發佈位元，構造輸入陣列的壓縮編碼，若空間過小則導出矛盾。
• 對具有受控機率的查詢子集使用機率論證，以建立資訊理論複雜度的下界。
• 利用單元探查模型可於 $ O(1) $ 時間隨機存取任意記憶體單元的特性，將探查成本獨立出來。
• 使用霍夫曼編碼與熵界分析有效編碼的最小尺寸，當空間次優時導出矛盾。

实验结果

研究问题

• RQ1 在單元探查模型中，支援 $ t $-時間查詢的簡潔排名資料結構，其最小空間冗餘為何？
• RQ2 先前研究中提出的指數冗餘權衡是否可進一步改善，或已達最優？
• RQ3 是否存在一種適用於自然簡潔資料結構問題（如排名與選擇）的一般性下界技術？
• RQ4 當 $ t $ 為 $ n $ 的次對數或對數級時，冗餘/查詢時間權衡的行為如何？

主要发现

• 任何在單元探查模型中以 $ t $ 個單元探查支援排名查詢的資料結構，至少需要 $ n + n/w^{O(t)} $ 個位元的空間（使用 $ w $-位元字）。
• 此下界與 FOCS'08 所得最佳上界相符，僅在 $ \left(\frac{\text{lg } n}{t}\right)^t $ 與 $ (\text{lg } n)^t $ 之間存在微小漸近差距。
• 對於多項式小冗餘（例如 $ n^\alpha $，其中 $ \alpha < 1 $），此下界表示 $ t = \Omega(\text{lg } n / \text{lg lg } n) $ 為必要條件。
• 結果顯示，排名問題中冗餘與查詢時間之間的指數依賴關係在漸近意義上是最優的。
• 此證明技術具有一般性，未來或可延伸至其他涉及查詢-答案依賴關係的簡潔資料結構問題。