[論文レビュー] Dismantling DivSufSort

Johannes Fischer, Florian Kurpicz|arXiv (Cornell University)|Oct 5, 2017

Algorithms and Data Compression参考文献 8被引用数 11

ひとこと要約

この論文は、主記憶上での最速であることが知られているsuffix sortingアルゴリズムであるDivSufSortの、学術的に初めての包括的記述を提供し、ソート処理中にLCP配列を計算する拡張を導入する。DivSufSortのinducingフェーズにLCP構築を統合することで、最も高速なLCP配列構築アルゴリズムと同等の性能を達成し、既存のinducingベースのアプローチを上回り、最新鋭のΦアルゴリズムと競合する性能を発揮する。

ABSTRACT

We give the first concise description of the fastest known suffix sorting algorithm in main memory, the DivSufSort by Yuta Mori. We then present an extension that also computes the LCP-array, which is competitive with the fastest known LCP-array construction algorithm.

研究の動機と目的

• 実務で広く使われているが、これまで文献に記載のなかったDivSufSortの明確で簡潔かつ理解しやすい学術的記述を提供すること。
• DivSufSortを拡張し、suffix array構築中にLCP配列を計算可能にする。これにより、効率的なテキストインデキシングパイプラインの実現を可能にする。
• 拡張されたDivSufSortの実装が、最も高速な既知のLCP配列構築アルゴリズムと同等の性能を発揮することを示すこと。
• DivSufSortのアルゴリズム的要素を、それに対応するソースコードの行番号と関連付けることで、再現可能性と理解の向上を図ること。
• DivSufSortがSAISよりも顕著に高速である理由、特にソート戦略とメモリアクセスパターンの観点から、その性能優位性を説明すること。

提案手法

• 1,000行を超えるDivSufSortのソースコードを逆解析し、そのアルゴリズム的論理を形式的かつ段階的に記述する。
• suffix array構築のinducingフェーズ中にLCP配列を計算する、新しい拡張を導入。同じデータ構造を再利用し、追加のパスを回避する。
• suffixをA-、B-、B*-タイプに分類することで、ソートと誘導プロセスをガイドし、不要な操作を削減する。
• 繰り返し検出と、prefix-doublingに類似した技術を用いて、非誘導可能なsuffixの初期ソートを最適化する。
• LCP構築をinducingフェーズに統合する。隣接するsuffix間の最長共通接頭辞を、同じSA構築フレームワークを用いて追跡する。
• 標準的なテストデータセットを用いた実験的評価を行い、最新鋭のLCPおよびsuffix array構築手法と実行時間を比較する。

実験結果

リサーチクエスチョン

• RQ1 DivSufSortは、学術的文書が不足しているにもかかわらず、SAISなどの他のsuffixソーティングアルゴリズムよりも顕著に高速であるのはなぜか？
• RQ2 DivSufSortのアルゴリズムフレームワークを用いて、同じくsuffix array構築と併せてLCP配列を効率的に計算できるか？
• RQ3 拡張されたDivSufSortの性能は、既存のLCP配列構築アルゴリズム、特にΦアルゴリズムやinducingベースの手法と比べてどうか？
• RQ4 DivSufSortの高い実用的性能に寄与する主なアルゴリズム的最適化は何か？
• RQ5 DivSufSortの内部論理を形式的に記述し、それらをソースコードの行番号と関連付けることで、再現可能性と今後の開発を促進できるか？

主な発見

• 拡張されたDivSufSort実装は、suffix array構築フェーズ中にLCP配列を計算し、最も高速な既知のLCP配列構築アルゴリズムと同等の性能を達成する。
• 平均して、唯一の他のinducingベースのLCP構築手法を上回り、一部のケースではΦアルゴリズム（純粋なLCP構築分野における現在の最先端）でさえも上回る。
• 200 MBのDNAデータに対して、拡張DivSufSortはLCP構築を33.47秒で完了し、次に速い手法（28.06秒）をわずかだが明確な差で上回る。
• DivSufSortがSAISを上回る性能を発揮する理由は、非再帰的で文字列ソーティングに基づく初期フェーズと、A-suffixを再処理しないより効率的な誘導プロセスに起因する。
• 最初の誘導フェーズにおいて、A-suffixのみを含むSAの領域をスキップすることで、メモリアクセスのオーバーヘッドを低減し、空間的局所性を向上させる。
• DNA、英語、XML、タンパク質など多様なデータセットにおける実験結果から、異なるデータタイプとサイズにおいて一貫した性能向上が確認された。