[論文レビュー] Optimal Encodings for Range Top-k, Selection, and Min-Max

Paweł Gawrychowski, Patrick K. Nicholson|arXiv (Cornell University)|Nov 24, 2014

Algorithms and Data Compression参考文献 16被引用数 8

ひとこと要約

本稿では、配列上の範囲top-k、範囲選択、範囲最小-最大クエリのための、空間的に最適な符号化を初めて提示する。情報理論的に最適な空間使用量を、低次の項を除いて達成している。カルテシアン木の圧縮表現とウィンドウ付きインクリメント構造を活用することで、空間計算量の主要項を $(k+1.5)nH(1.5/(k+1.5)) + o(n\lg k)$ にまで低減し、$k > 1$ の場合の係数最適化に関する長年の未解決問題を解消した。この符号化は効率的なクエリ再構築を可能とし、$o(n)$ビットを追加することで $Θ(1)$ 時間クエリを実現できる。

ABSTRACT

We consider encoding problems for range queries on arrays. In these problems the goal is to store a structure capable of recovering the answer to all queries that occupies the information theoretic minimum space possible, to within lower order terms. As input, we are given an array $A[1..n]$, and a fixed parameter $k \in [1,n]$. A range top-$k$ query on an arbitrary range $[i,j] \subseteq [1,n]$ asks us to return the ordered set of indices $\{\ell_1, ..., \ell_{k}\}$ such that $A[\ell_m]$ is the $m$-th largest element in $A[i..j]$, for $1 \le m \le k$. A range selection query for an arbitrary range $[i,j] \subseteq [1,n]$ and query parameter $k' \in [1,k]$ asks us to return the index of the $k'$-th largest element in $A[i..j]$. We completely resolve the space complexity of both of these heavily studied problems---to within lower order terms---for all $k = o(n)$. Previously, the constant factor in the space complexity was known only for $k=1$. We also resolve the space complexity of another problem, that we call range min-max, in which the goal is to return the indices of both the minimum and maximum elements in a range.

研究の動機と目的

• すべての $k = o(n)$ に対して、範囲top-kおよび範囲選択クエリの空間計算量を、低次の項を除いて最適化すること。これは、従来は $k=1$ の場合にのみ最適とされていた拡張である。
• 最小値と最大値の両方のインデックスを返す「範囲最小-最大クエリ」という、新たな問題を定義し、その解法を提示すること。
• 範囲top-k符号化の空間境界における定数係数のギャップを埋めること。これは、$k \geq 2$ の場合、以前は未知であった。
• すべてのクエリの答えのみを格納する圧縮可能でクエリ再構築可能な符号化を提供し、空間を最小限に抑えつつ、効率的な再構築を可能とすること。

提案手法

• すべての範囲top-kクエリの解法を符号化するために、カルテシアン木の圧縮表現を用いる。エントロピーに基づく圧縮により、空間使用量を最小限に抑える。
• ブロック間の相対的順序の変化を追跡するビットベクトル $E_{\text{WIN}}$ を用いて、ブロック上での範囲クエリを効率的にシミュレートする、新しいウィンドウ付きインクリメント構造を導入する。
• 偶数ブロック内の「良い」および「悪い」要素を区別する。ここで「悪い」要素のみがウィンドウインクリメントに寄与するため、$E_{\text{WIN}}$ の1ビット数を削減し、符号化を圧縮できる。
• 配列を逆順にすることで対称性を活用し、ウィンドウ符号化における非ゼロビット数を $n$ から $n/2 - o(n)$ に削減。これにより、エントロピー項の主要係数が改善される。
• 左、中央、右のセグメントからのtop-kリストのマージを、選択的スキャンとウィンドウインクリメント再構築を用いて行い、ブロック境界を越える正しいtop-k選択を可能にする。
• 各ブロックごとの「良い/悪い」ステータスを追跡する補正機構を追加し、$o(n)$ の追加空間で、圧縮ビットベクトル上の正確なselect操作を保証する。

実験結果

リサーチクエスチョン

• RQ1 配列上のすべての範囲top-kクエリを符号化する際の最適空間計算量は、$k = o(n)$ の場合、低次の項を除いてどのようになるか？
• RQ2 $k > 1$ の場合、範囲top-k符号化の空間境界における定数係数を、$k=1$ の既知のケースを超えて正確に特定できるか？
• RQ3 冗長なウィンドウインクリメントビットを削除することで、範囲top-k符号化をさらに圧縮できるか？
• RQ4 「範囲最小-最大」という新しい問題を定義し、その最適な符号化が可能か。また、効率的なクエリサポートが可能か？
• RQ5 得られた符号化を、$o(n)$ ビットを追加することで、$Θ(1)$ 時間クエリをサポートできるか？

主な発見

• 本稿では、範囲top-k符号化の最適空間計算量が $(k+1.5)nH(1.5/(k+1.5)) + o(n\lg k)$ ビットであることを確立した。これは、以前の最良の境界 $(k+2)nH(2/(k+2))$ よりも改善されている。
• $k > 1$ の場合、空間境界における $n$ の係数を、GrossiらおよびNavarroらが提起した未解決問題を解消する形で、初めて正確に特定した。
• 配列とその逆順の対称性を活用することで、ウィンドウ符号化のビットベクトル $E_{\text{WIN}}$ の1ビット数を $n$ から $n/2 - o(n)$ に削減した。
• 範囲最小-最大符号化を導入し、それが空間的に最適であることを示した。さらに、$o(n)$ ビットを追加することで $Θ(1)$ 時間クエリをサポートできる。
• 得られたデータ構造は、任意の厳密に増加する関数 $f$ に対して、$Θ(k^6 \lg^2 n \cdot f(n))$ 時間で範囲top-kクエリを処理でき、エントロピー項を超えて $o(n\lg k)$ の追加空間を要する。
• カルテシアン木のエントロピー圧縮と、選択的ウィンドウインクリメント追跡の組み合わせにより、符号化の冗長性を低減し、空間使用量を最適化した。