[论文解读] Evaluation of tools for differential gene expression analysis by RNA-seq on a 48 biological replicate experiment

Nick Schurch, Pietá Schofield+10 more|arXiv (Cornell University)|May 8, 2015

Gene expression and cancer classification参考文献 32被引用 363

一句话总结

本研究利用高重复（48个生物重复）实验评估了九种RNA-seq差异表达工具，以确定最佳重复水平和工具性能。研究发现，在低重复水平（n_r > 6）时edgeR表现优于其他工具，而在高重复水平（n_r ≥ 12）时DESeq表现更优，且所有倍数变化下真阳性率超过85%需n_r > 20。

ABSTRACT

An RNA-seq experiment with 48 biological replicates in each of 2 conditions was performed to determine the number of biological replicates ($n_r$) required, and to identify the most effective statistical analysis tools for identifying differential gene expression (DGE). When $n_r=3$, seven of the nine tools evaluated give true positive rates (TPR) of only 20 to 40 percent. For high fold-change genes ($|log_{2}(FC)|\gt2$) the TPR is $\gt85$ percent. Two tools performed poorly; over- or under-predicting the number of differentially expressed genes. Increasing replication gives a large increase in TPR when considering all DE genes but only a small increase for high fold-change genes. Achieving a TPR $\gt85$% across all fold-changes requires $n_r\gt20$. For future RNA-seq experiments these results suggest $n_r\gt6$, rising to $n_r\gt12$ when identifying DGE irrespective of fold-change is important. For $6 \lt n_r \lt 12$, superior TPR makes edgeR the leading tool tested. For $n_r \ge12$, minimizing false positives is more important and DESeq outperforms the other tools.

研究动机与目标

• 确定RNA-seq实验中可靠检测差异表达基因（DGE）所需的最小生物重复数（n_r）。
• 评估九种广泛使用的DGE工具在不同重复水平下的性能表现。
• 识别在不同倍数变化阈值下能保持高真阳性率（TPR）的工具。
• 通过量化重复与统计功效之间的权衡，为未来实验设计提供指导。
• 评估工具在不同n_r水平下最小化假阳性与假阴性的稳健性。

提出的方法

• 开展了一项包含每组48个生物重复的RNA-seq实验，提供了用于基准测试的金标准数据集。
• 将九种差异表达工具（edgeR、DESeq、limma-voom等）应用于不同重复子集（n_r = 3至48）的数据。
• 利用高重复数据集中已知的差异表达基因计算真阳性率（TPR）和假发现率（FDR）。
• 分别针对高倍数变化基因（|log2(FC)| > 2）和所有基因评估性能。
• 使用受试者工作特征（ROC）曲线和曲线下面积（AUC）比较工具的准确性。
• 通过测量TPR随n_r和倍数变化大小的变化关系，评估统计功效。

实验结果

研究问题

• RQ1 在RNA-seq实验中，为实现所有倍数变化下真阳性率（TPR）> 85%，所需的最小生物重复数（n_r）是多少？
• RQ2 九种主要DGE工具的性能指标如何随重复数（n_r）增加而变化？
• RQ3 在低重复水平（n_r = 6–12）和高重复水平（n_r ≥ 12）下，哪种DGE工具实现了最高的TPR？
• RQ4 真阳性率如何随倍数变化大小的增加而变化？重复水平对这一关系有何影响？
• RQ5 哪些工具表现出校准不良，即过度或不足预测差异表达基因的数量？

主要发现

• 在n_r = 3时，九种工具中有七种对所有差异表达基因的真阳性率（TPR）仅为20–40%。
• 对于高倍数变化基因（|log2(FC)| > 2），即使在低重复水平下TPR也超过85%，表明强信号具有高统计功效。
• 为在所有倍数变化下实现TPR > 85%，需n_r > 20，凸显弱信号检测对高重复的依赖性。
• 在n_r > 6时，edgeR优于其他工具，尤其在需最小化假阴性时表现更优。
• 在n_r ≥ 12时，DESeq优于所有其他工具，尤其在最小化假阳性方面表现更佳。
• 两种工具表现出校准不良，即过度或不足预测差异表达基因的数量。