[論文レビュー] Alignment Metric Accuracy

Ariel Schwartz, Eugene W. Myers+1 more|arXiv (Cornell University)|Oct 27, 2005

Genomics and Phylogenetic Studies参考文献 12被引用数 25

ひとこと要約

本稿では、二重対称性および三角不等式を満たす距離関数に基づく、新しいアラインメント評価指標AMA（Alignment Metric Accuracy）を提案する。AMAPと呼ばれるアルゴリズムを提案し、1つのギャップ要因パラメータを最適化することで期待AMA値を最大化し、ペアワイズおよびマルチプルアラインメントにおいて感受性と特異性のバランスをとることに成功。SABmarkを含むベンチマークデータセットにおいて、既存手法を上回る性能を示した。

ABSTRACT

We propose a metric for the space of multiple sequence alignments that can be used to compare two alignments to each other. In the case where one of the alignments is a reference alignment, the resulting accuracy measure improves upon previous approaches, and provides a balanced assessment of the fidelity of both matches and gaps. Furthermore, in the case where a reference alignment is not available, we provide empirical evidence that the distance from an alignment produced by one program to predicted alignments from other programs can be used as a control for multiple alignment experiments. In particular, we show that low accuracy alignments can be effectively identified and discarded. We also show that in the case of pairwise sequence alignment, it is possible to find an alignment that maximizes the expected value of our accuracy measure. Unlike previous approaches based on expected accuracy alignment that tend to maximize sensitivity at the expense of specificity, our method is able to identify unalignable sequence, thereby increasing overall accuracy. In addition, the algorithm allows for control of the sensitivity/specificity tradeoff via the adjustment of a single parameter. These results are confirmed with simulation studies that show that unalignable regions can be distinguished from homologous, conserved sequences. Finally, we propose an extension of the pairwise alignment method to multiple alignment. Our method, which we call AMAP, outperforms existing protein sequence multiple alignment programs on benchmark datasets. A webserver and software downloads are available at http://bio.math.berkeley.edu/amap/ .

研究の動機と目的

• 配列アラインメント同士を比較するための厳密で対称的な指標の欠如、特に感受性を超えた正確性の評価における課題に対処すること。
• ギャップの過剰ペナルティや無関係領域の過剰アラインメントを回避するように、感受性と特異性のバランスを取る手法を開発すること。
• 参照アラインメントが利用できない状況においても、信頼性の代理指標として複数プログラム間のアラインメント距離を用いることで、信頼性のある正確性測定を提供すること。
• ペアワイズおよびマルチプルアラインメントの両方において、感受性／特異性のトレードオフを1つのパラメータ（ギャップ要因）で制御可能にする仕組みを提供すること。
• 既存のアラインメントツールが、特に無関係な配列をアラインメントする際に、感受性を高める一方で特異性を犠牲にしている傾向があることを実証すること。

提案手法

• 非負性、対称性、三角不等式を満たすアラインメント空間上の距離関数を定義し、適切な距離関数としての性質を保証すること。
• この距離関数に基づき、一致ペアとギャップ列の両方を考慮するAMA（Alignment Metric Accuracy）という新しい正確性指標を提案すること。
• 配列進化の確率的Pair-HMMモデルの下で期待AMA値を最大化するAMAP（Alignment Metric Accuracy Program）と呼ばれるアルゴリズムを開発すること。
• アラインメント意思決定における感受性と特異性のトレードオフを制御するためのギャップ要因（Gf）パラメータを導入すること。
• 複数のアラインメントツールを用いた実験的比較により、参照アラインメントがなくても低品質アラインメントを検出できるという指標の有効性を検証すること。
• SABmarkなどのベンチマークデータセットを用いて、AMAP、ProbCons、Align-mの間でアラインメント正確性を評価・比較すること。

実験結果

リサーチクエスチョン

• RQ1 一致とギャップの両方を考慮する対称的で距離関数に基づくアラインメント正確性指標を定義できるか？
• RQ2 無関係またはアラインメント不能な配列が存在する状況において、感受性と特異性のバランスを取ることでアラインメント正確性を向上させることは可能か？
• RQ3 既存のアラインメントツールは、標準的な感受性指標で評価しても、一貫性のないアラインメントを生成している程度はどの程度か？
• RQ4 参照アラインメントが利用できない状況において、異なるプログラムが生成するアラインメント間の距離が、アラインメント正確性の信頼できる代理指標として機能するか？
• RQ5 1つのチューナブルパラメータ（ギャップ要因）が、アラインメントアルゴリズムにおける感受性／特異性のトレードオフを効果的に制御できるか？

主な発見

• SABmarkデータセットにおいて、ギャップ要因が4に設定されたAMAPが、ProbConsおよびAlign-mを上回る最高のAMAスコアを達成した。
• バイテルビアルゴリズムは、2,781文字ペアの誤アラインメントのため、AMAスコアが72.2にとどまり、AMAPの変種に比べて顕著に低い水準であった。
• MUSCLE や ClustalW といった既存ツールは高い感受性を示すが、特異性は低く、Twilight-FPデータセットでは無関係な配列ペアの最大70％をアラインメントしていた。
• 異なるプログラムが生成するアラインメント間の距離と正確性の間に強い相関関係が認められ、参照アラインメントが存在しない状況でも低品質アラインメントの特定が可能であることが示された。
• ギャップ要因が0.5または1に設定されたAMAPは、MEAベースライン（Gf = 0）を上回り、標準的な期待正確性最大化を超えてギャップ要因のチューニングによる利点が確認された。
• シミュレーション研究において、本手法は、アラインメント不能な領域と保存された相同配列を効果的に区別でき、誤検出（ファルス・ポジティブ）の低減能力を確認した。