[論文レビュー] Sorting suffixes of a text via its Lyndon Factorization

Sabrina Mantaci, Antonio Restivo+2 more|arXiv (Cornell University)|Jun 6, 2013

Algorithms and Data Compression参考文献 15被引用数 5

ひとこと要約

本稿では、テキストのリュンドン分解を活用して、バーローズ＝ウェーラー変換（BWT）およびサフィックス配列（SA）を構築する新しい手法を提案する。連続するリュンドン要因内の局所的サフィックスが、全体としての拡張においてもその相対順序を保つという組合せ的性質を活用することで、BWTおよびSAの段階的・オンライン的・並列化可能な構築が可能となり、従来のソーティングベースの手法とは対照的な柔軟な代替手法を提供する。

ABSTRACT

The process of sorting the suffixes of a text plays a fundamental role in Text Algorithms. They are used for instance in the constructions of the Burrows-Wheeler transform and the suffix array, widely used in several fields of Computer Science. For this reason, several recent researches have been devoted to finding new strategies to obtain effective methods for such a sorting. In this paper we introduce a new methodology in which an important role is played by the Lyndon factorization, so that the local suffixes inside factors detected by this factorization keep their mutual order when extended to the suffixes of the whole word. This property suggests a versatile technique that easily can be adapted to different implementative scenarios.

研究の動機と目的

• テキストのリュンドン分解を用いたサフィックスのソーティング戦略の開発。
• リュンドン要因内の局所的サフィックス順序と、全文におけるグローバルなサフィックス順序との整合性の確立。
• バーローズ＝ウェーラー変換（BWT）およびサフィックス配列（SA）の段階的・オンライン構築の実現。
• リュンドン要因間のソーティングプロセスを分離することで、並列処理およびインプレース実装を可能にする。
• 外部記憶装置および軽量計算環境に適応可能な柔軟なフレームワークの提供。

提案手法

• テキストは、ダウバルの線形時間アルゴリズムを用いてリュンドン要因に分解される。
• 主な洞察は、連続するリュンドン要因の系列において、局所的サフィックスの辞書式順序が、全文に拡張された場合にも保存されることにある。
• BWTは、各新しいリュンドン要因のBWTと、以前に処理済みの要因のBWTをマージすることで段階的に構築され、正しい相対的サフィックス順序が維持される。
• テキストを左から右へ処理することで、リュンドン分解が進行するにつれてBWTが計算可能となるオンラインアルゴリズムが可能になる。
• 動的データ構造を用いて効率的なランク操作および挿入操作をサポートし、最適なメモリ使用量が見込まれる。
• リュンドン要因の系列を独立して処理できるため、並列化が可能であり、外部記憶装置やインプレース計算にも適応可能である。

実験結果

リサーチクエスチョン

• RQ1 リュンドン要因内のサフィックスの辞書式順序が、全文のグローバルなサフィックス順序に保存されるか。
• RQ2 リュンドン分解をどのように活用すれば、BWTおよびSAの段階的・オンライン構築が可能になるか。
• RQ3 リュンドン分解を用いたBWTおよびSAの構築における計算量の複雑性は何か。また、最適化は可能か。
• RQ4 リュンドン要因間でのサフィックス順序の独立性は、並列処理や分散処理をどのように支援するか。
• RQ5 提案手法は、外部記憶装置やインプレース実装にどのように適応可能か。

主な発見

• 本稿では、任意の連続するリュンドン要因の連結において、局所的サフィックスの辞書式順序が、全文におけるグローバルなサフィックス順序と整合することを証明している。
• リュンドン要因を1つずつ処理することで、BWTおよびSAを段階的に構築でき、正しい相対的順序が維持される。
• アルゴリズムの実行時間はO(k²M)であるが、動的データ構造を用いた最適化が可能である。ここでkはリュンドン要因の数、Mは最大要因長である。
• 本手法により、テキスト全体を読み込む前に計算を開始しないオンラインアルゴリズムが実現可能である。
• 各リュンドン要因内のソーティングが互いに独立しているため、並列化が可能である。
• フレームワークは外部記憶装置およびインプレース計算に適応可能であり、軽量でI/O効率の良い逐次実装が見込まれる。