[論文レビュー] Tree Compression with Top Trees Revisited

Lorenz Hübschle-Schneider, Rajeev Raman|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2015

Algorithms and Data Compression参考文献 1被引用数 7

ひとこと要約

この論文は、トップツリーを用いた木圧縮を再考し、RePairに類似したヒューリスティックを導入してクラスタのマージ順序を制御することで、保存される情報量を著しく削減し、圧縮速度と圧縮比を向上させている。圧縮表現上で分解しない状態で対数時間オーダーのナビゲーションが可能であり、情報理論的最適値との差が log log 要因以内の最悪ケース圧縮比を達成している。

ABSTRACT

We revisit tree compression with top trees (Bille et al, ICALP'13) and present several improvements to the compressor and its analysis. By significantly reducing the amount of information stored and guiding the compression step using a RePair-inspired heuristic, we obtain a fast compressor achieving good compression ratios, addressing an open problem posed by Bille et al. We show how, with relatively small overhead, the compressed file can be converted into an in-memory representation that supports basic navigation operations in worst-case logarithmic time without decompression. We also show a much improved worst-case bound on the size of the output of top-tree compression (answering an open question posed in a talk on this algorithm by Weimann in 2012).

研究の動機と目的

• Billeら（2012）が提起したオープンな問題である、トップツリー圧縮の実用性を、圧縮速度と圧縮比の向上によって解決すること。
• トップツリー構築中に保存される情報量を削減し、効率を向上させること。
• 分解しない状態で、圧縮された木表現上で効率的なナビゲーションを可能とし、O(log n)時間で操作を実行できること。
• 圧縮出力サイズのよりタイトな最悪ケースバウンドを提供し、Weimann（2012）のトークで提起されたオープンな問いを解決すること。
• トップツリー圧縮が、保証された性能バウンドを持つ既存の木圧縮手法に対する実用的で高速かつ柔軟な代替手段であることを示すこと。

提案手法

• クラスタのマージ順序を制御するRePairに類似したヒューリスティックを導入し、頻出する部分木パターンを優先的に処理する。
• コンビナータを用いてクラスタを表現・マージし、冗長性を低減し、圧縮効率を向上させる。
• 分解しない状態で、親、子、深さなどのナビゲーション操作をO(log n)時間で実行可能な、トップDAGの圧縮されたメモリ内表現を設計する。
• 2つのスパニングツリー分解を用いてトップDAGの符号化を最適化し、メモリ使用量を削減し、局所性を向上させる。
• 頻度ヒューリスティックに従った下位から上位へのマージ戦略を採用し、共有部分木パターンの再利用を最大化する。
• 最悪ケース圧縮比が情報理論的下界との差が log log σ n_T 要因以内であることを示す理論的分析を導入する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックに制御されたクラスタマージによって、トップツリー圧縮は実用的かつ効率的に行えるか？
• RQ2 トップツリーを用いた圧縮出力サイズの最悪ケースバウンドとして、最もタイトなものは何か？
• RQ3 圧縮されたトップDAGは、分解しない状態で対数時間オーダーで効率的にナビゲート可能か？
• RQ4 RePairに類似したマージ戦略は、元のトップツリー手法と比較して、圧縮比と速度をどのように向上させるか？
• RQ5 トップツリーの構造は圧縮比にどの程度影響を与えるか？また、その影響をモデル化または予測可能か？

主な発見

• RePairに類似したヒューリスティックにより、トップツリー構築中に保存される情報量が削減され、圧縮速度が向上し、圧縮比も改善された。
• 最悪ケース圧縮比が情報理論的下界との差が log log σ n_T 要因以内であることが示され、Weimann（2012）が提起したオープンな問いに答えている。
• 圧縮されたトップDAGは、分解しない状態で親、子、深さなどのナビゲーション操作をO(log n)時間で実行可能であり、効率的なメモリ内処理を可能にしている。
• 実験の結果、TopTreesとTT+RePairはRePairおよびTreeRePairを上回る速度を達成しており、ランダム木では理論的最適値に非常に近い圧縮比を達成した。
• 顕著な高速化が達成された：例えば、dblpファイルの圧縮において、TopTreesは6.00秒で処理可能だったが、TreeRePairでは45.72秒を要した。圧縮比は競争力のある水準を維持した。
• メモリ内表現は、標準的なDOM表現と比較して最大16倍小さく、大規模な木処理に適したメインメモリ上での利用に適している。