[論文レビュー] Online Grammar Compression for Frequent Pattern Discovery

Shouhei Fukunaga, Yoshimasa Takabatake+2 more|arXiv (Cornell University)|Jul 15, 2016

Algorithms and Data Compression参考文献 4被引用数 6

ひとこと要約

本稿では、過去の研究に比べて著しく改善された近似比 $\Omega(\frac{1}{\lg^{*}N\lg m})$ を達成する、繰り返しのある文字列の頻出パターン発見のためのオンライン文法圧縮アルゴリズムを提案する。このアルゴリズムは圧縮されたメモリ空間で動作し、完全にオンラインなESPベースのパーサー（FOLCA）を統合することで、最小限のメモリ使用量で繰り返しのある文字列を効率的にストリーミング処理できる。これにより、メモリ効率が優れておりながらも、近似的に最適なパターン抽出を維持する。

ABSTRACT

Various grammar compression algorithms have been proposed in the last decade. A grammar compression is a restricted CFG deriving the string deterministically. An efficient grammar compression develops a smaller CFG by finding duplicated patterns and removing them. This process is just a frequent pattern discovery by grammatical inference. While we can get any frequent pattern in linear time using a preprocessed string, a huge working space is required for longer patterns, and the whole string must be loaded into the memory preliminarily. We propose an online algorithm approximating this problem within a compressed space. The main contribution is an improvement of the previously best known approximation ratio $Ω(\frac{1}{\lg^2m})$ to $Ω(\frac{1}{\lg^*N\lg m})$ where $m$ is the length of an optimal pattern in a string of length $N$ and $\lg^*$ is the iteration of the logarithm base $2$. For a sufficiently large $N$, $\lg^*N$ is practically constant. The experimental results show that our algorithm extracts nearly optimal patterns and achieves a significant improvement in memory consumption compared to the offline algorithm.

研究の動機と目的

• 大規模で繰り返しが多い文字列における頻出パターン発見の課題に取り組むこと。特に、オフライン手法ではメモリ消費量が著しく増加する問題を解決する。
• 最小限のメモリオーバーヘッドで文法圧縮を用いて長大な頻出パターンを近似的に抽出するオンラインアルゴリズムを開発すること。
• 理論的近似比を $\Omega(\frac{1}{\lg^{2}m})$ から $\Omega(\frac{1}{\lg^{*}N\lg m})$ に改善すること。ここで $N$ は文字列長、$m$ は最適なパターン長を表す。
• 完全にオンラインな文法圧縮フレームワーク（FOLCA）を活用することで、ストリーミングデータへの実用的適用を可能にすること。
• 実験的に、オフライン手法と比較して著しくメモリ消費量を削減しながら、ほぼ最適なパターンを抽出できることを検証すること。

提案手法

• 繰り返し部分文字列を特定し、頻出パターンを保持するコンパクトなパース木（POSLP）を構築するために、編集感度パーサー（ESP）を用いる。
• 完全にオンラインな文法圧縮手法（FOLCA）を適用し、入力文字列を完全に読み込むことなく、圧縮された空間でPOSLPを構築する。
• 任意の頻出パターン $P$ に対して、その長さの $\Omega(\frac{|P|}{\lg^{*}N\lg|P|})$ を達成する文法の変数を特定することで、強力な近似保証を実現する。
• 短縮データ構造を活用し、各内部ノードあたり $n$ ビットのメモリでパース木内の変数の頻度を追跡することで、メモリ使用量を最小限に抑える。
• 文字列をストリーミング形式で逐次処理し、入力全体を保存せずに文法を段階的に構築する。
• 理論的分析により、近似品質の新たな下界を確立し、先行研究と比較して分母に $\lg^2 m$ の代わりに $\lg^* N \lg m$ を採用することで、性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 既存のオフライン手法よりも、オンライン文法圧縮アルゴリズムが頻出パターン発見においてより良い近似比を達成できるか？
• RQ2 $\Omega(\frac{1}{\lg^2 m})$ から $\Omega(\frac{1}{\lg^{*}N \lg m})$ に近似比を改善しつつ、メモリ効率を維持できるか？
• RQ3 圧縮されたメモリ空間を用いて、ストリーミング形式で文法圧縮と頻出パターン発見を実行できるか？
• RQ4 実用的性能として、オンラインアルゴリズムのパターン品質とメモリ消費量は、オフライン手法と比較してどの程度優れているか？
• RQ5 高頻度で繰り返されるデータにおいて、長大な頻出パターンをどの程度正確に保持できるか？

主な発見

• 提案手法は $\Omega(\frac{1}{\lg^{*}N\lg m})$ の近似比を達成し、従来の $\Omega(\frac{1}{\lg^2 m})$ の境界を著しく上回った。
• Einsteinベンチマークでは、最適パターン長の平均21.6％のカバー比を達成し、実用的な性能が裏付けられた。
• DNAデータセットでは、平均22.9％の近似比を達成し、長大な頻出パターンの一貫した抽出が可能であることを示した。
• 特に大規模な入力に対しては、メモリ消費量が著しく削減された。オフラインのサフィックスアレイ手法は、メモリ制限により失敗した。
• 計算時間は妥当な範囲に収まり、オフライン手法と比較して数倍の遅延にとどまったが、時間とメモリのトレードオフが有利であった。
• すべてのベンチマークでほぼ最適なパターンが抽出されたことから、理論的近似比のギャップが存在しても、実用的有効性が確認された。