[論文レビュー] Evaluation of tools for differential gene expression analysis by RNA-seq on a 48 biological replicate experiment

Nick Schurch, Pietá Schofield+10 more|arXiv (Cornell University)|May 8, 2015

Gene expression and cancer classification参考文献 32被引用数 363

ひとこと要約

本研究では、9種のRNA-seq差分発現解析ツールを、48個の生物学的リPLICATEを用いた高リピート実験で評価し、最適なリピート水準とツールのパフォーマンスを特定した。低リピート水準（n_r > 6）ではedgeRが他のツールを上回ったが、高リピート水準（n_r ≥ 12）ではDESeqが優れた性能を示した。また、全倍化数に対して85％以上の真正陽性率を達成するにはn_r > 20のリピートが必要であった。

ABSTRACT

An RNA-seq experiment with 48 biological replicates in each of 2 conditions was performed to determine the number of biological replicates ($n_r$) required, and to identify the most effective statistical analysis tools for identifying differential gene expression (DGE). When $n_r=3$, seven of the nine tools evaluated give true positive rates (TPR) of only 20 to 40 percent. For high fold-change genes ($|log_{2}(FC)|\gt2$) the TPR is $\gt85$ percent. Two tools performed poorly; over- or under-predicting the number of differentially expressed genes. Increasing replication gives a large increase in TPR when considering all DE genes but only a small increase for high fold-change genes. Achieving a TPR $\gt85$% across all fold-changes requires $n_r\gt20$. For future RNA-seq experiments these results suggest $n_r\gt6$, rising to $n_r\gt12$ when identifying DGE irrespective of fold-change is important. For $6 \lt n_r \lt 12$, superior TPR makes edgeR the leading tool tested. For $n_r \ge12$, minimizing false positives is more important and DESeq outperforms the other tools.

研究の動機と目的

• RNA-seqにおける信頼できる差分発現遺伝子（DGE）検出に必要な生物学的リピート数（n_r）の最小値を特定すること。
• さまざまなリピート水準における9つの広く使われているDGEツールのパフォーマンスを評価すること。
• さまざまな倍化数閾値で高い真正陽性率（TPR）を維持するツールを特定すること。
• リピート数と統計的パワーのトレードオフを定量的に評価することで、将来の実験設計を支援すること。
• さまざまなn_r水準におけるツールの誤検出（偽陽性・偽陰性）の最小化能力のロバストネスを評価すること。

提案手法

• 48個の生物学的リピートを有する条件ごとにRNA-seq実験を実施し、ベンチマーク用のゴールドスタンダードデータセットを提供した。
• 9つの差分発現解析ツール（edgeR、DESeq、limma-voomなど）を、リピート数を変化させたサブセット（n_r = 3 から 48）に適用した。
• 高リピートデータセットからの既知の差分発現遺伝子を用いて、真正陽性率（TPR）と誤発見率（FDR）を算出した。
• 高倍化数（|log2(FC)| > 2）の遺伝子と全遺伝子の両方について、パフォーマンスを別々に評価した。
• ツールの正確性を比較するために受信器操作特性（ROC）曲線と曲線下面積（AUC）を用いた。
• 統計的パワーを、n_rと倍化数の大きさの関数としてTPRを測定することで評価した。

実験結果

リサーチクエスチョン

• RQ1 RNA-seq実験において、全倍化数に対して真正陽性率（TPR）が85％を超えるために必要な生物学的リピート数（n_r）の最小値は何か？
• RQ2 9つの主要なDGEツールのパフォーマンス指標は、リピート数（n_r）の増加に伴ってどのように変化するか？
• RQ3 低リピート水準（n_r = 6–12）と高リピート水準（n_r ≥ 12）で、最も高いTPRを達成するDGEツールはどれか？
• RQ4 倍化数の大きさが増加するにつれて真正陽性率はどのように変化するか？また、リピート数がこの関係に与える影響は何か？
• RQ5 どのツールが不良なキャリブレーションを示し、差分発現遺伝子の数を過剰または過小に予測するか？

主な発見

• n_r = 3のとき、9つのツールのうち7つが、全差分発現遺伝子に対して真正陽性率（TPR）が20–40％にとどまった。
• 高倍化数遺伝子（|log2(FC)| > 2）では、低リピート水準でもTPRが85％を超えた。これは強力なシグナルに対して高いパワーがあることを示している。
• 全倍化数に対してTPR > 85％を達成するにはn_r > 20のリピートが必要であり、これは弱いシグナルの検出に高いリピート数が不可欠であることを示している。
• n_r > 6のとき、edgeRは他のツールを上回った。特に偽陰性を最小限に抑える必要がある状況で優れた性能を示した。
• n_r ≥ 12のとき、DESeqは他のすべてのツールを上回った。特に偽陽性の最小化において優れた性能を示した。
• 2つのツールが不良なキャリブレーションを示し、差分発現遺伝子の数を過剰または過小に予測した。