[論文レビュー] Re-Pair Compression of Inverted Lists

Francisco Claude, Antonio Fariña+1 more|ArXiv.org|Nov 17, 2009

Algorithms and Data Compression参考文献 26被引用数 4

ひとこと要約

本稿では、インverted listの連続する位置の差分にRe-Pair圧縮を適用することで、高速なランダムアクセスと効率的なリスト同士の積集合計算を実現する手法を提案する。Re-Pairは強力な圧縮と暗黙的なスキップ機能を提供するが、本研究では、特に長いリストをビットマップに変換する場合、Rice符号化やビットマップベースの圧縮といった最先端の手法と比較して、時間/領域のトレードオフにおいて劣ることが判明した。

ABSTRACT

Compression of inverted lists with methods that support fast intersection operations is an active research topic. Most compression schemes rely on encoding differences between consecutive positions with techniques that favor small numbers. In this paper we explore a completely different alternative: We use Re-Pair compression of those differences. While Re-Pair by itself offers fast decompression at arbitrary positions in main and secondary memory, we introduce variants that in addition speed up the operations required for inverted list intersection. We compare the resulting data structures with several recent proposals under various list intersection algorithms, to conclude that our Re-Pair variants offer an interesting time/space tradeoff for this problem, yet further improvements are required for it to improve upon the state of the art.

研究の動機と目的

• インバーテッドリストにおける従来の差分符号化の代替手段として、Re-Pair圧縮を検討し、効率的な積集合演算を実現すること。
• 高速なランダムアクセスと主記憶および補助記憶における最適化されたリスト同士の積集合計算を可能にするRe-Pairの変種を設計すること。
• 最近の最先端の圧縮技術と比較して、Re-Pairで圧縮されたインバーテッドリストの時間/領域のトレードオフを評価すること。
• 長大なリストに対してRe-Pairとビットマップ表現を組み合わせた際の影響、特に補助記憶環境下での影響を調査すること。
• さまざまな積集合アルゴリズムを用いた状況下で、Re-Pairの性能をバイトコード、Riceコード、ビットマップベースの圧縮と比較して評価すること。

提案手法

• インバーテッドリストの連続する位置の差分に、文法に基づく圧縮手法であるRe-Pairを適用する。
• 未サンプリング領域での暗黙的なスキップを可能にする、特定のRe-Pair変種を設計する。
• 既存のサンプリング技術と統合することで、補助記憶への効率的なアクセスを実現する。
• 長大なリストに対しては、文書数に基づくしきい値を用いて、Re-Pairからビットマップ圧縮に切り替える戦略を採用する。
• 検索戦略と最適化された辞書表現を用いて、解処理速度とメモリ効率を向上させる。
• 複数の積集合アルゴリズムとワークロード設定下で、Re-Pairをバイトコード、Riceコード、ビットマップベースの圧縮と比較する。

実験結果

リサーチクエスチョン

• RQ1 インバーテッドリストの差分にRe-Pair圧縮を適用することで、従来の差分符号化手法と比較して、より優れた時間/領域のトレードオフを達成できるか？
• RQ2 リスト積集合ワークロードにおいて、Rice符号化やビットマップ表現といった高度な圧縮方式と比較して、Re-Pairはどのように性能を発揮するか？
• RQ3 Re-Pairの暗黙的なスキップ機能は、ランダムアクセスおよび積集合演算において、どの程度性能向上に寄与するか？
• RQ4 長大なリストをビットマップに置き換えることで、Re-Pairの圧縮効率と積集合速度にどのような影響が生じるか？
• RQ5 I/Oコストが大きな要因となる補助記憶環境において、Re-Pairは効果的に適応可能か？

主な発見

• Re-Pairは競争力のある圧縮性能を発揮し、未サンプリング領域での暗黙的なスキップにより高速なランダムアクセスが可能になる。
• 強力な圧縮性能と高速な解処理を備えながらも、特に長いリストをビットマップに変換する場合、Rice符号化に時間/領域のトレードオフにおいて劣ることが判明した。
• 長大なリストに対してビットマップを適用することで、Re-Pairの圧縮優位性が低下し、他の手法と比較して長大なリスト内の繰り返しのギャップを効果的に活用できていないことが判明した。
• ビットマップ統合に最適化された検索戦略は、元々のビットマップ提案よりも優れた時間/領域のトレードオフを達成しており、ビットマップ統合の最適化が極めて重要であることが示された。
• 特にビットマップと組み合わせた場合、Re-Pairの性能は顕著に劣ることが判明し、リストからビットマップへの変換基準をさらに洗練させる必要があることが示唆された。
• 本研究では、バイトコードが依然として強力なベースラインであることが確認されたが、Rice符号化が圧縮性能および実行性能の両面で優勢であることが示され、Re-Pairベースのアプローチにおけるさらなる改善の余地があることが明らかになった。