[論文レビュー] An Experimental Comparison of PMSPrune and Other Algorithms for Motif Search

Dolly Sharma, Sanguthevar Rajasekaran+1 more|arXiv (Cornell University)|Aug 26, 2011

Genomics and Phylogenetic Studies参考文献 17被引用数 4

ひとこと要約

本論文は、(l,d)-モチーフ問題の正確なアルゴリズムであるPMSpruneを、複数のベンチマークデータセット上で14の他のモチーフ探索アルゴリズムと比較する包括的な実験的評価を提示している。7つの統計的指標を用いて、PMSpruneが感度および陽性予測値の面で優れた性能を示し、他の最良のアルゴリズムと同等かそれを上回ることを示している。一方、DMEは特異度の面でのみ優位であり、PMSpruneの全体的なモチーフ探索における強力な競争力が裏付けられている。

ABSTRACT

Extracting meaningful patterns from voluminous amount of biological data is a very big challenge. Motifs are biological patterns of great interest to biologists. Many different versions of the motif finding problem have been identified by researchers. Examples include the Planted $(l, d)$ Motif version, those based on position-specific score matrices, etc. A comparative study of the various motif search algorithms is very important for several reasons. For example, we could identify the strengths and weaknesses of each. As a result, we might be able to devise hybrids that will perform better than the individual components. In this paper we (either directly or indirectly) compare the performance of PMSprune (an algorithm based on the $(l, d)$ motif model) and several other algorithms in terms of seven measures and using well established benchmarks In this paper, we (directly or indirectly) compare the quality of motifs predicted by PMSprune and 14 other algorithms. We have employed several benchmark datasets including the one used by Tompa, et.al. These comparisons show that the performance of PMSprune is competitive when compared to the other 14 algorithms tested. We have compared (directly or indirectly) the performance of PMSprune and 14 other algorithms using the Benchmark dataset provided by Tompa, et.al. It is observed that both PMSprune and DME (an algorithm based on position-specific score matrices) in general perform better than the 13 algorithms reported in Tompa et. al.. Subsequently we have compared PMSprune and DME on other benchmark data sets including ChIP-Chip, ChIP-seq, and ABS. Between PMSprune and DME, PMSprune performs better than DME on six measures. DME performs better than PMSprune on one measure (namely, specificity).

研究の動機と目的

• PMSpruneが(l,d)-モチーフ問題の正確なアルゴリズムとして、14の既存のモチーフ探索アルゴリズムと比較して性能を評価すること。
• 標準化されたベンチマークと複数の統計的指標を用いて、アルゴリズムの強みと弱みを評価すること。
• PMSpruneとDMEを組み合わせたハイブリッド手法が、より優れた性能を発揮する可能性があるかどうかを同定すること。
• Tompaのベンチマーク、ChIP-Chip、ChIP-seq、およびABSを含む多様な生物学的データセットを用いて、結果を検証すること。
• 現実のゲノム研究文脈におけるモチーフ探索アルゴリズムの相対的な正確性と頑健性について、実証的証拠を提供すること。

提案手法

• PMSpruneは、(l,d)-モチーフモデルに適用され、各入力配列に長さlのモチーフがハミング距離d以内に存在するように探索する。
• 評価には7つの指標を用いる：nSn（ネガティブ感度）、nSp（ネガティブ特異度）、sSn（感度）、nPPV（ネガティブ陽性予測値）、sPPV（陽性予測値）、nPC（ネガティブ相関）、nCC（ネガティブ相関係数）。
• 比較は4つのベンチマークデータセット（Tompaのデータセット、ChIP-Chip、ChIP-seq、ABS）を用い、それぞれが異なる生物学的特徴を持つ。
• 各データセットについて、PMSpruneと他の14のアルゴリズムのモチーフ予測を7つの統計的指標で評価する。
• 位置スコア行列に基づくDMEアルゴリズムは、正確な（PMSprune）とヒューリスティック（DME）アプローチの性能差を評価するために比較対象として含められている。
• 結果はすべてのデータセットにわたって平均化され、表形式で提示され、アルゴリズムの性能を直接比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマーク上で、感度、特異度、陽性予測値の観点からPMSpruneは14の他のモチーフ探索アルゴリズムと比べてどのように差をつけるか？
• RQ2 位置スコア行列に基づくDMEという代表的なアルゴリズムと比較して、PMSpruneはどのような点で優位または劣位にあるか？
• RQ3 ChIP-Chip、ChIP-seq、および合成的で制御されたABSデータといった多様な生物学的データセットにおいて、PMSpruneは強固な性能を維持できるか？
• RQ4 DMEがPMSpruneを顕著に上回る特定の性能指標は存在するか？もしあるならば、どのような条件下でその差が生じるか？
• RQ5 得られた結果は、正確法とヒューリスティック法の長所を組み合わせたハイブリッドモチーフ探索アルゴリズムの設計にどのように寄与できるか？

主な発見

• Tompaのベンチマークデータセットでは、PMSpruneはテストされた14のアルゴリズムのうち13つを上回り、DMEが唯一同等の性能を示した。
• 7つの指標のうち6つにおいてPMSpruneがDMEを上回っている：nSnでは8%以上、sSnでは10%以上の改善を達成している。
• DMEは特異度においてPMSpruneを最大3.5%まで上回っているが、これは狭いが明確な優位性を示している。
• ChIP-Chipデータでは、PMSpruneのnSn（0.1464）とsSn（0.2254）はDME（0.1416と0.2025）を上回っており、陽性予測値でも優位性を示している。
• ChIP-seqデータでは、PMSpruneはすべてのバリアントにおいて感度と特異度が高く、nSnはPMSumMinで0.1554、DMESumMinで0.1128、nSpはPMSumMinで0.8613、DMESumMinで0.9121を記録した。
• ABSデータセットでは、PMSpruneはnSnで1.2倍（0.1934 vs. 0.1485）、sSnで1.4倍（0.2298 vs. 0.1650）の改善を達成しており、合成的・制御されたデータにおいても頑健であることが確認された。