[論文レビュー] A Bijective String Sorting Transform

Hendrian, Diptarama, Köppl, Dominik+2 more|arXiv (Cornell University)|Jan 15, 2012

Algorithms and Data Compression参考文献 10被引用数 36

ひとこと要約

この論文は、センチネル文字や回転インデックスを必要とせず、すべての入力文字列に対して逆写像可能な双対的（bijective）な文字列ソーティング変換（S変換）を導入する。S変換は、循環接尾辞と置換に基づく新しいソーティング機構により、同じ文字をグループ化し、カリフォルニアコーパスにおいてBWTよりも優れた圧縮比を達成する。PICファイルでは最大11.37%の向上を達成し、全ファイル平均でも3.05%の向上を示す。変換および逆変換の両方で線形時間・空間計算量を維持する。

ABSTRACT

Given a string of characters, the Burrows-Wheeler Transform rearranges the characters in it so as to produce another string of the same length which is more amenable to compression techniques such as move to front, run-length encoding, and entropy encoders. We present a variant of the transform which gives rise to similar or better compression value, but, unlike the original, the transform we present is bijective, in that the inverse transformation exists for all strings. Our experiments indicate that using our variant of the transform gives rise to better compression ratio than the original Burrows-Wheeler transform. We also show that both the transform and its inverse can be computed in linear time and consuming linear storage.

研究の動機と目的

• 標準BWTとは異なり、センチネル文字や回転インデックスといった追加メタデータを必要とせず、すべての文字列に対して逆写像可能な双対的変換を開発すること。
• BWTよりも効果的に同じ文字をグループ化することで、圧縮効率を向上させつつ、BWTの構造的利点を保持すること。
• 暗号化されたデータの処理など、データ機密性を要する応用に適した、計算的に効率的な変換を設計すること。
• 連続する最小接尾辞から導かれる部分文字列の回転をソートするという新しい変換の形式的定式化と正しさの証明を行うこと。
• 逆変換が一般化されたサイクル走査アルゴリズムを用いて線形時間で計算可能であることを示すこと。

提案手法

• S変換は、入力文字列を反復的に最小の辞書式順序の接尾辞を選択・削除することで、部分文字列に分解する。
• これらの部分文字列のすべての回転を生成し、単一のリストとして辞書式順にソートする。
• 変換出力は、各ソート済み回転の最後の文字をとることで形成され、同じ文字が連続する文字列が得られる。
• 逆変換は、変換構造から導かれる置換 ϑ を用いる。ここで ϑ は、変換済み文字列の各位置を、元の文字列の循環順序における直前の文字に対応付ける。
• 元の文字列を最後の文字から最初の文字へと再構築するために、マルチスレッド型の一般化サイクル走査アルゴリズム（MultiThread）を用いる。このアルゴリズムは、ϑ のサイクルを最後の文字から順に処理する。
• 一時配列を用いて訪問済みの位置を追跡し、処理済みとしてマークすることで、線形時間・空間計算量を保証する。

実験結果

リサーチクエスチョン

• RQ1 BWTと同様に同じ文字をグループ化するが、センチネル文字や回転インデックスを必要とせず、すべての文字列に対して双対的（bijective）な文字列ソーティング変換を構築できるか？
• RQ2 標準コーパスにおいて、このような変換がBWTと同等またはそれ以上の圧縮性能を達成できるか？
• RQ3 この変換の逆変換は、追加のメタデータに依存せず、線形時間・空間計算量で効率的に計算可能か？
• RQ4 置換サイクルに基づく決定的でアルゴリズム的に効率的なプロセスによって、この変換が逆写像可能か？
• RQ5 BWTの逆変換に用いられる同じコアアルゴリズムを、一般化されたサイクル走査機構を用いて、この新しい変換に適応可能か？

主な発見

• S変換は、カリフォルニアコーパスの全ファイルにおいてGEOを除き、BWTを上回る圧縮を達成し、全ファイル平均で3.05%の向上を示す。
• PICファイルでは、S変換が11.37%の圧縮向上を達成し、コーパス内で最高の改善を示す。
• PROGLのような最小限の向上でも、相対的向上率がたとえ1.02%にとどまっても、200バイトの節約が確認され、S変換はBWTを上回る性能を示す。
• 逆変換は、マルチスレッドアルゴリズムにより正しく計算され、ϑ のサイクルを最後の文字から最初の文字へと処理することで、元の文字列が再構築される。
• S変換およびその逆変換ともに、O(n)時間およびO(n)空間で計算可能であり、標準BWTと同等の効率性を達成する。
• S変換は双対的である：すべての出力文字列は一意に1つの入力文字列に対応し、センチネル文字や回転インデックスの必要性がなくなる。