[論文レビュー] On Undetected Redundancy in the Burrows-Wheeler Transform

Uwe Baier|arXiv (Cornell University)|Jan 1, 2018

Neural Networks and Applications被引用数 2

ひとこと要約

本稿では、BWTの組合せ的構造を活用してランを短縮することで、逆変換可能性を損なわずにBWTのサイズを削減する新しい技術「tunneling」を導入する。この手法は、BWTベースの圧縮器において平均8–16%のサイズ削減を達成し、最適ケースでは最大33–57%まで効果を発揮する。これにより、最先端の無損失圧縮器と同等の性能を発揮する一方で、シーケンス解析やインデキシングにおけるBWTの有用性を維持する。

ABSTRACT

The Burrows-Wheeler-Transform (BWT) is an invertible permutation of a text known to be highly compressible but also useful for sequence analysis, what makes the BWT highly attractive for lossless data compression. In this paper, we present a new technique to reduce the size of a BWT using its combinatorial properties, while keeping it invertible. The technique can be applied to any BWT-based compressor, and, as experiments show, is able to reduce the encoding size by 8-16 % on average and up to 33-57 % in the best cases (depending on the BWT-compressor used), making BWT-based compressors competitive or even superior to today's best lossless compressors.

研究の動機と目的

• BWTのラン長符号化における未だ十分に解明されていない冗長性に起因する、圧縮効率の制限要因を解消すること。BWTは高い圧縮性を示すが、その効率は依然として制限されている。
• 逆変換可能性およびFMインデックスのための組合せ的性質を保持したまま、BWT符号化サイズを縮小する手法を開発すること。
• BWTベースの圧縮器が、現代の無損失圧縮器と同等または優れた圧縮比を達成できることを示すこと。
• 任意のBWTベースの圧縮器に適用可能であり、下位のラン長符号化方式に依存しない実用的かつ理論的に妥当な手法を提供すること。

提案手法

• tunneling手法は、後継配列とBWTの構造的性質を活用して、BWT内のランを特定し、短縮する。
• ブロックベースのアプローチを採用し、ランをブロックにグループ化。内部で干渉するブロック同士を処理して冗長性を低減する。
• スコアリング機構により、内部ブロックのラン長符号化への寄与度を調整し、符号化サイズを最小化する。
• 一般化されたLFマッピングとワイヤルツリー構造を活用して、逆変換可能性を維持するとともに、バックワードサーチ操作をサポートする。
• ラン長最適化を組み込んだ修正済みのBWT符号化パイプラインを実装し、最終圧縮の前段階で最適化を実行する。
• この手法はバックエンド圧縮器に依存しないため、bzip2、bwz、bcm、wtなどの既存のBWTベースのシステムと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 BWTにおける冗長なラン長符号化は、逆変換可能性を損なわずに体系的に短縮可能か？
• RQ2 BWTの構造的性質に裏付けられた組合せ的知見を用いることで、BWTの符号化サイズはどの程度短縮可能か？
• RQ3 提案されたtunneling手法は、FMインデックスや圧縮シーケンス解析におけるBWTの適性を維持するか？
• RQ4 異なるデータタイプおよびバックエンド圧縮器において、tunnelingの性能と圧縮効果はどのように比較されるか？

主な発見

• tunnelingは、多様なデータセットにおいてBWTベースの圧縮器の符号化サイズを平均8–16%削減する。
• 最適ケースでは、サイズ削減が最大33–57%に達し、特に繰り返しの多いまたは構造的なデータに対してbwzやwtといった圧縮器で顕著な効果を示す。
• 完全な逆変換可能性が保たれ、BWTの構造的性質が維持されるため、FMインデックスや圧縮パターンマッチングとの互換性が保証される。
• tunnelingを適用した最良の圧縮バージョン（bcm-tunneled）は、他のBWTベースの圧縮器を上回り、繰り返しデータに対してxzと同等の性能を発揮する。
• 符号化時間とメモリ使用量は約2倍に増加するが、逆変換時間とメモリ使用量は削減され、多くの用途において有利なトレードオフを提供する。
• 圧縮効果のモデルフィットは良好であり、外れ値による悪影響は最小限（≤0.3%のネット損失）に抑えられ、異なる圧縮器およびデータモデルにおいても結果の安定性が確認された。