[論文レビュー] Fully Online Grammar Compression in Constant Space

Shirou Maruyama, Yasuo Tabei|arXiv (Cornell University)|Jan 21, 2014

Algorithms and Data Compression参考文献 8被引用数 10

ひとこと要約

本稿では、ストリームマイニング技術を活用してハッシュテーブルに頻出する生成規則のみを保持することで、定数の作業領域空間を達成する、FREQ_FOLCAおよびLOSSY_FOLCAという2つの新しい完全オンライン文法圧縮変種を提案する。これらの手法により、ヒトゲノムのような大規模でノイズの多い繰り返しテキストの効率的な圧縮・解処理が可能となり、高い圧縮比と線形時間計算量を維持する。従来手法に比べ、メモリ効率とスケーラビリティの面で優れている。

ABSTRACT

We present novel variants of fully online LCA (FOLCA), a fully online grammar compression that builds a straight line program (SLP) and directly encodes it into a succinct representation in an online manner. FOLCA enables a direct encoding of an SLP into a succinct representation that is asymptotically equivalent to an information theoretic lower bound for representing an SLP (Maruyama et al., SPIRE'13). The compression of FOLCA takes linear time proportional to the length of an input text and its working space depends only on the size of the SLP, which enables us to apply FOLCA to large-scale repetitive texts. Recent repetitive texts, however, include some noise. For example, current sequencing technology has significant error rates, which embeds noise into genome sequences. For such noisy repetitive texts, FOLCA working in the SLP size consumes a large amount of memory. We present two variants of FOLCA working in constant space by leveraging the idea behind stream mining techniques. Experiments using 100 human genomes corresponding to about 300GB from the 1000 human genomes project revealed the applicability of our method to large-scale, noisy repetitive texts.

研究の動機と目的

• ヒトゲノム配列のような大規模でノイズの多い繰り返しテキストに適用した場合、既存の文法圧縮手法が高いメモリ消費量を示す問題に対処すること。
• FOLCAには、作業領域がSLPサイズに比例するという制限があり、ノイズが多く大規模なデータに対しては実用的でないという問題を克服すること。
• 高効率な圧縮を維持しつつ、定数の作業領域空間で動作する完全オンラインの文法圧縮アルゴリズムを開発すること。
• 標準的なハードウェア上で、100体のヒトゲノムのような大規模な繰り返しテキストコレクションの実用的圧縮・解処理を可能にすること。
• ストリームマイニングにインspiredした戦略として、メモリに保持する生成規則を頻度に基づいて制限することで、圧縮品質を損なわずにメモリ使用量を削減する手法を導入すること。

提案手法

• ストリームマイニング技術を活用し、ハッシュテーブルに頻出する生成規則のみを保持し、まれな規則は破棄することでメモリを節約する。
• 頻度閾値kに基づき、最も頻出する生成規則を優先的に格納するFREQ_FOLCAを設計し、作業領域を定数に抑える。
• パラメータℓに基づくロスイーフィルタリング戦略を用い、まれな規則を削除することで、制御された圧縮品質の損失を伴いながら定数領域を達成するLOSSY_FOLCAを設計する。
• ビットストリングとラベル列に基づく、スパarsely表現されたSLPを用い、補助記憶装置からの効率的な解処理を可能にする。
• 頻度に基づくフィルタリングにより、ハッシュテーブルを小さく保つリバースディクショナリを統合し、圧縮中に定数のメモリ使用量を確保する。
• 入力テキストを1パスで処理することで、オンライン圧縮および解処理を実現し、常に定数の作業領域を維持する。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイズの多い繰り返しテキストに対して、完全オンラインかつ定数領域で動作する文法圧縮が可能か？
• RQ2 頻出する生成規則を識別し、メモリ使用量を最小限に抑えつつ高い圧縮比を維持するには、どのように記憶すべきか？
• RQ3 生成規則の頻度に基づくフィルタリングを用いる場合、圧縮比と作業領域の間にはどのようなトレードオフがあるか？
• RQ4 定数領域の文法圧縮が、ヒトゲノム配列のような実世界のノイズの多いデータに効果的に適用可能か？
• RQ5 FOLCA、LZMA、BLOCK_FOLCAなどの既存の圧縮器と比較して、提案手法の性能（メモリ、時間、圧縮比）はいかがなっているか？

主な発見

• FREQ_FOLCAおよびLOSSY_FOLCAは、入力サイズに依存せず、定数の作業領域空間を達成している（FREQ_FOLCA：36–76 GB、LOSSY_FOLCA：36–56 GB）。これに対してFOLCAは52 GBのゲノムに対して100 GB以上を必要としていた。
• 100体のヒトゲノム（306 GB）の圧縮が、FREQ_FOLCAおよびLOSSY_FOLCAで24時間未満で完了した。一方、LZMAは5日間以上かかっても完了しなかった。
• LOSSY_FOLCAは56.9 MBの最大作業領域で17.45%の圧縮比を達成し、同じパラメータ設定下でBLOCK_FOLCA（34.7 MBで25.91%）を上回った。
• FREQ_FOLCAは76.1 MBの作業領域で19.71%の圧縮比を達成し、圧縮比とメモリ使用量の間のトレードオフを示した。
• 両手法の解処理時間は23,000秒未満であり、定数領域での動作にもかかわらず、効率的な解処理性能を示した。
• 提案手法は1000 Genomes Projectから得た実世界のノイズの多い繰り返しデータを効果的に処理でき、大規模ゲノムデータへの応用可能性を実証した。