[論文レビュー] Systematic assessment of the expected length, variance and distribution of Longest Common Subsequences

Kang Ning, Kwok Pui Choi|arXiv (Cornell University)|Jun 18, 2013

Algorithms and Data Compression参考文献 10被引用数 3

ひとこと要約

本稿では、複数のシーケンス、非一様なアルファベット分布、および大規模なアルファベットを想定した状況下で、最長共通部分列（LCS）の期待長さ、分散、および分布に関する体系的なモンテカルロシミュレーション研究を提示する。Chvátal-Sankoff定数 γ₂ に対する理論的境界が確認され、分散がシーケンス長に線形に増加することが判明し、ヒューリスティックLCSアルゴリズムのベンチマークが行われた。その結果、デポジションとエクステンション（Deposition and Extension）アルゴリズムが最も優れた性能比を示し、最適LCS長さに対して5–10%短い結果を達成した。

ABSTRACT

The Longest Common Subsequence (LCS) problem is a very important problem in math- ematics, which has a broad application in scheduling problems, physics and bioinformatics. It is known that the given two random sequences of infinite lengths, the expected length of LCS will be a constant. however, the value of this constant is not yet known. Moreover, the variance distribution of LCS length is also not fully understood. The problem becomes more difficult when there are (a) multiple sequences, (b) sequences with non-even distribution of alphabets and (c) large alphabets. This work focus on these more complicated issues. We have systematically analyze the expected length, variance and distribution of LCS based on extensive Monte Carlo simulation. The results on expected length are consistent with currently proved theoretical results, and the analysis on variance and distribution provide further insights into the problem.

研究の動機と目的

• 複数のシーケンス、非一様なアルファベット分布、大規模なアルファベットといった複雑な設定下におけるLCSの期待長さ、分散、および分布に関する体系的で実験的な分析が不足しているという点を解決する。
• i > 2 および q > 2 の場合の Chvátal-Sankoff定数 γᵢ について、シミュレーションに基づく推定値と境界値を提供し、よく知られた2値ケースにとどまらない拡張を図る。
• LCSの分散の増加率を評価し、それがシーケンス長 n に対して線形にスケーリングするかどうかを解き明かす、未解決の予想を解消する。
• 系統的なシミュレーション結果を用いて、ヒューリスティックLCSアルゴリズムのベンチマークを確立し、性能比を評価する。
• Long Run、Greedy、Tournament、およびデポジションとエクステンションを含む最新のヒューリスティックアルゴリズムの性能を、シミュレート済みおよび実データセット上で検証・比較する。

提案手法

• 多様なシーケンス構成における期待LCS長さ、分散、および分布を推定するために、広範なモンテカルロシミュレーションを実施する。
• 有限状態オートマトンとマルコフ連鎖モデリングを用いて、931状態を含むオートマトンに基づき、γ₂ の理論的下限を計算する。
• 正確な計算が非効率な場合に備え、代表的シーケンスの部分集合に対して動的計画法を適用し、LCS長さの上界を計算する。
• Long Run、Greedy、Tournament、およびデポジションとエクステンションの4つのヒューリスティックアルゴリズムを実装・評価し、時間的・空間的計算量の解析を併記する。
• アルゴリズムの効率性と正確性を比較するための主な指標として、性能比（ヒューリスティックLCS長 / 最適LCS長）を用いる。
• 非一様なアルファベット確率と大規模なアルファベットを対象とし、計算複雑性を低減するためにアルファベット頻度に基づくシーケンスのサブセット選択を実施する。

実験結果

リサーチクエスチョン

• RQ1 アルファベットサイズ q > 2 の複数のシーケンス（i > 2）におけるLCSの期待長さは何か？ また、理論的境界と比較するとどうなるか？
• RQ2 LCS長さの分散はシーケンス長 n とともにどのように増加するか？ そして、線形スケーリングのパターンに従うか？
• RQ3 非一様なアルファベット分布および大規模なアルファベットサイズ下でのLCS長さの分布はどのようなものか？
• RQ4 さまざまなシーケンス構成下で、ヒューリスティックLCSアルゴリズムは最適LCS長さに対してどのように性能を発揮するか？
• RQ5 デポジションとエクステンションアルゴリズムの性能比は、シミュレート済みおよび実データセット上で他のヒューリスティックと比較してどの程度か？

主な発見

• 2値のバイナリシーケンスにおける期待LCS長さは定数 γ₂ に収束し、シミュレーション結果は理論的下限および上限と整合的であり、γ₂ ∈ [0.773911, 0.837623] であることを裏付ける。
• LCS長さの分散はシーケンス長 n に線形に増加することが判明し、以前の予想（o(n²/³) であった）を覆し、Var(|LCS|) > cn を満たす正の定数 c が存在することを支持する。
• 複数のシーケンスおよび非一様なアルファベット分布下では、期待LCS長さは顕著に変動し、普遍的な傾向は認められない。これは、シーケンスおよびアルファベット構成に強く依存することを示している。
• デポジションとエクステンションアルゴリズムは、ヒューリスティックの中で最も優れた性能比を示し、平均して最適長さの5–10%以内のLCS長さを生成した。
• Long Runアルゴリズムが2番目に優れた性能を示したが、GreedyおよびTournamentアルゴリズムは、シーケンス数が増加するにつれて特に劣った性能を示した。
• 代表的シーケンスの頻度選択に基づく動的計画法により、LCS長さの上界が計算され、大規模なアルファベットや長いシーケンスに対してもスケーラブルな推定が可能になった。