[论文解读] Comprehensive evaluation of differential expression analysis methods for RNA-seq data

Franck Rapaport, Raya Khanin+6 more|arXiv (Cornell University)|Jan 22, 2013

Cancer-related molecular mechanisms research被引用 10

一句话总结

本研究使用经实验验证的DE基因的SEQC基准数据集，评估了六种主要的RNA-seq差异表达方法——edgeR、DESeq、limma、Cuffdiff、PoissonSeq和baySeq。研究发现，增加生物重复数显著优于提高测序深度，且尽管limma是为芯片优化的，其表现仍可与RNA-seq专用工具媲美或更优，尤其在使用voom标准化时。

ABSTRACT

High-throughput sequencing of RNA transcripts (RNA-seq) has become the method of choice for detection of differential expression (DE). Concurrent with the growing popularity of this technology there has been a significant research effort devoted towards understanding the statistical properties of this data and the development of analysis methods. We report on a comprehensive evaluation of the commonly used DE methods using the SEQC benchmark data set. We evaluate a number of key features including: assessment of normalization, accuracy of DE detection, modeling of genes expressed in only one condition, and the impact of sequencing depth and number of replications on identifying DE genes. We find significant differences among the methods with no single method consistently outperforming the others. Furthermore, the performance of array-based approach is comparable to methods customized for RNA-seq data. Perhaps most importantly, our results demonstrate that increasing the number of replicate samples provides significantly more detection power than increased sequencing depth.

研究动机与目标

• 评估广泛使用的RNA-seq差异表达方法在生物相关数据上的表现。
• 评估标准化策略、假阳性控制，以及对测序深度和重复数的敏感性。
• 确定如limma等为芯片优化的方法是否能在DE检测中达到或超越RNA-seq专用工具的表现。
• 基于实证基准测试，为RNA-seq研究的实验设计提供实用指导。

提出的方法

• 本研究使用包含人全组织和脑参考RNA的SEQC RNA-seq基准数据集，包含内标控制和TaqMan qPCR验证的DE基因。
• 除Cuffdiff使用其基于Cufflinks的量化外，其余方法均使用HTSeq生成固定计数矩阵。
• 在四个关键指标上评估方法：标准化准确性、DE检测的敏感性和特异性、仅在一个条件下表达的基因的表现，以及测序深度与重复数的影响。
• 使用错误发现率和ROC分析比较方法表现，重点关注零假设模型和检测效能。
• 在limma中测试了两种标准化方法：分位数标准化和voom转换，后者将计数建模为带精度权重的对数正态分布。
• 通过改变测序深度和重复数，比较各方法在DE检测效能中的独立贡献。

实验结果

研究问题

• RQ1 在真实生物数据中，哪种差异表达方法在检测真实DE基因方面具有最高的敏感性和特异性？
• RQ2 不同方法的标准化程序如何影响DE检测的准确性？
• RQ3 增加测序深度还是增加生物重复数能为DE基因检测提供更大的效能？
• RQ4 如limma等为芯片优化的方法在DE检测表现上与RNA-seq专用工具相比如何？
• RQ5 在仅在一个条件下表达的基因这一具有挑战性的场景下，各方法表现如何？

主要发现

• 无单一方法在所有指标上始终优于其他方法，但基于负二项分布模型的edgeR、DESeq和baySeq在敏感性与特异性之间取得了最佳平衡，且假阳性率较低。
• Cuffdiff表现出更高的假阳性率和较低的敏感性，可能因其复杂的标准化方法需考虑异构体表达和转录本长度。
• 原本为微阵列设计的limma包在性能上可与RNA-seq专用工具媲美或更优，尤其在使用voom标准化时。
• 增加生物重复数显著提升了DE检测效能，尤其对低丰度基因而言，优于提高测序深度。
• limma中的voom标准化降低了假阳性率，并提高了对测序深度和重复数的敏感性，优于分位数标准化。
• 基于负二项分布模型的方法（如edgeR、DESeq、baySeq）在假阳性控制方面优于基于泊松分布或非模型方法。