[論文レビュー] Fast and simple algorithms for computing both $LCS_{k}$ and $LCS_{k+}$

Filip Pavetić, Ivan Katanić+3 more|arXiv (Cornell University)|May 20, 2017

Algorithms and Data Compression参考文献 4被引用数 4

ひとこと要約

本稿では、$LCS_k$ および $LCS_{k+}$ を両方効率的に計算する単一のアルゴリズムを提示する。実行時間計算量を改善し、$Ó(\min(r\log l, r + ml))$ の時間で処理を実現。複雑なデータ構造を回避。ヒューリスティックなメモリ最適化手法を導入し、ヒトゲノムデータにおいてメモリ使用量を最大1000倍まで削減。オープンソースのC++コードを提供し、広範な採用を促進。

ABSTRACT

Longest Common Subsequence ($LCS$) deals with the problem of measuring similarity of two strings. While this problem has been analyzed for decades, the recent interest stems from a practical observation that considering single characters is often too simplistic. Therefore, recent works introduce the variants of $LCS$ based on shared substrings of length exactly or at least $k$ ($LCS_k$ and $LCS_{k+}$ respectively). The main drawback of the state-of-the-art algorithms for computing $LCS_k$ and $LCS_{k+}$ is that they work well only in a limited setting: they either solve the average case well while being suboptimal in the pathological situations or they achieve a good worst-case performance, but fail to exploit the input data properties to speed up the computation. Furthermore, these algorithms are based on non-trivial data structures which is not ideal from a practitioner's point of view. We present a single algorithm to compute both $LCS_k$ and $LCS_{k+}$ which outperforms the state-of-the art algorithms in terms of runtime complexity and requires only basic data structures. In addition, we implement an algorithm to reconstruct the solution which offers significant improvement in terms of memory consumption. Our empirical validation shows that we save several orders of magnitude of memory on human genome data. The C++ implementation of our algorithms is made available at: https://github.com/google/fast-simple-lcsk

研究の動機と目的

• 既存の $LCS_k$ および $LCS_{k+}$ アルゴリズムが、病理的ケースで性能を発揮しない、または複雑なデータ構造に依存するという非効率性に対処すること。
• $LCS_k$ と $LCS_{k+}$ の両方の計算を、単一で単純なアルゴリズムで統合すること。
• 特に大規模なゲノムデータにおいて、解の再構築におけるメモリ消費量を顕著に削減すること。
• 研究およびバイオインフォマティクス分野や文字列類似度応用分野の発展を加速するため、実用的でアクセス可能な実装を提供すること。

提案手法

• 長さ $k$ の部分文字列の一致に基づく動的計画法を採用。ソート済みの一致ペアに対してスイープライン技術を適用。
• アクティブな一致ペアの集合を維持し、優先度付きキューを用いて処理中に最長共通部分列を効率的に延長。
• $LCS_{k+}$ への適応は、正確に長さ $k$ の部分文字列ではなく、長さ $\geq k$ のすべての部分文字列を考慮することで実現。これにより、両問題の統合的計算が可能に。
• リファレンスカウンティング機構と共有ポインタを用いて再構築パスを動的に管理。使用されなくなった一致ペアは、直ちに解放。
• 赤黒木やフェニック木などの永続的または拡張データ構造を避けており、単純性と効率性を確保するため、基本的なデータ構造のみに依存。
• 実装では標準C++を用い、再構築チェーンの自動メモリ管理に std::shared_ptr を使用。これにより、顕著なメモリ節約が達成可能。

実験結果

リサーチクエスチョン

• RQ1 単一で単純なアルゴリズムが、既存手法よりも優れた漸近的計算量を達成しつつ、$LCS_k$ および $LCS_{k+}$ の両方を効率的に計算できるか。
• RQ2 永続的赤黒木やフェニック木などの複雑なデータ構造に依存せず、最適または近似最適の実行時間計算量を達成できるか。
• RQ3 特にヒトゲノム配列のような大規模な入力において、実際の部分列を再構築する際のメモリ使用量をどのように削減できるか。
• RQ4 リファレンスカウンティングと動的デアロケーションに基づくメモリ最適化技術が、類似の再構築オーバーヘッドを伴う他の動的計画法問題へ一般化可能か。

主な発見

• 提案アルゴリズムは $\mathcal{O}(\min(r\log l, r + ml))$ の実行時間計算量を達成。平均的および最悪ケースの両方で、先行研究を上回る性能を発揮。
• 同じアルゴリズムが $LCS_k$ と $LCS_{k+}$ の両方を処理可能であり、2つの別個の問題が単一のフレームワークで統合された。
• メモリ最適化再構築手法により、ヒトゲノムデータにおいてピークメモリ使用量を最大1000倍まで削減。複数の染色体および $k$ 値で観察された圧縮率は700～1000倍。
• https://github.com/google/fast-simple-lcsk に公開された実装は、$LCS_k$ および $LCS_{k+}$ に対する最初の広く利用可能なオープンソースコードベースであり、再現性とさらなる研究を促進。
• 実験では、一致ペアの数が増えるほどメモリ節約が顕著になることが示され、大規模な生物学的データセットにおける強力なスケーラビリティを示している。
• 複雑なデータ構造を避けており、永続的または拡張木に依存する先行ソリューションと比較して、実装および保守が容易である。