[논문 리뷰] Comprehensive evaluation of differential expression analysis methods for RNA-seq data

Franck Rapaport, Raya Khanin외 6명|arXiv (Cornell University)|2013. 01. 22.

Cancer-related molecular mechanisms research인용 수 10

한 줄 요약

이 연구는 인간 전신 및 뇌 참조 RNA를 포함한 SEQC 벤치마크 데이터셋을 사용하여 edgeR, DESeq, limma, Cuffdiff, PoissonSeq, baySeq의 6종의 주요 RNA-seq 차등 발현 분석 방법을 평가한다. 실험적으로 검증된 DE 유전자를 바탕으로 한 결과, 생물학적 복제 수를 늘리는 것이 시퀀싱 깊이를 높이는 것보다 유의미하게 뛰어난 성능을 보이며, 특히 voom 정규화를 사용할 경우, 배열 최적화된 limma가 RNA-seq 전용 도구들과 비교해도 유사하거나 뛰어난 성능을 보인다.

ABSTRACT

High-throughput sequencing of RNA transcripts (RNA-seq) has become the method of choice for detection of differential expression (DE). Concurrent with the growing popularity of this technology there has been a significant research effort devoted towards understanding the statistical properties of this data and the development of analysis methods. We report on a comprehensive evaluation of the commonly used DE methods using the SEQC benchmark data set. We evaluate a number of key features including: assessment of normalization, accuracy of DE detection, modeling of genes expressed in only one condition, and the impact of sequencing depth and number of replications on identifying DE genes. We find significant differences among the methods with no single method consistently outperforming the others. Furthermore, the performance of array-based approach is comparable to methods customized for RNA-seq data. Perhaps most importantly, our results demonstrate that increasing the number of replicate samples provides significantly more detection power than increased sequencing depth.

연구 동기 및 목표

• 실제 생물학적 데이터에서 널리 사용되는 RNA-seq 차등 발현 분석 방법의 성능 평가를 목적으로 한다.
• 정규화 전략, 위양성 제어, 시퀀싱 깊이 및 복제 수에 대한 민감도 평가를 목적으로 한다.
• 배열 최적화된 방법인 limma가 RNA-seq 전용 도구와 비교해 차등 발현 검출 성능에서 뒤지지 않거나 이를 초월할 수 있는지 평가한다.
• 실증적 벤치마크를 바탕으로 RNA-seq 연구의 실험 설계에 실용적인 지침을 제공한다.

제안 방법

• 연구는 인간 전신 및 뇌 참조 RNA를 포함한 SEQC RNA-seq 벤치마크 데이터셋을 사용하였으며, 스파이크인 컨트롤과 TaqMan qPCR로 검증된 DE 유전자를 포함한다.
• HTSeq를 사용하여 모든 방법에 대해 고정된 카운트 매트릭스를 생성하였으며, Cuffdiff를 제외한 나머지 방법은 Cufflinks 기반의 별도의 정량화를 사용한다.
• 네 가지 핵심 지표를 바탕으로 방법을 평가하였다: 정규화 정확도, DE 검출 민감도 및 특이도, 한 조건에서만 발현된 유전자에 대한 성능, 시퀀싱 깊이 대비 복제 수의 영향.
• 위양성률 및 ROC 분석을 통해 방법 간 성능을 비교하였으며, 귀무모형과 검출 능력에 중점을 두었다.
• limma에서 두 가지 정규화 방법을 시험: 분위수 정규화와 voom 변환. voom 변환은 카운트를 로그정규분포로 모델링하고 정밀도 가중치를 적용한다.
• 시퀀싱 깊이와 복제 수를 다양하게 설정하여 각 요소가 DE 검출 능력에 미치는 영향을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 실제 생물학적 데이터를 사용할 때 어떤 차등 발현 분석 방법이 진정한 DE 유전자 검출에서 가장 높은 민감도와 특이도를 보이는가?
• RQ2 정규화 절차가 다양한 방법 간 DE 검출 정확도에 어떤 영향을 미치는가?
• RQ3 시퀀싱 깊이를 높이는 것과 생물학적 복제 수를 늘리는 것 중 어느 것이 DE 유전자 검출 능력 향상에 더 큰 기여를 하는가?
• RQ4 배열 최적화된 방법인 limma는 RNA-seq 전용 도구와 비교해 차등 발현 검출 성능에서 어떻게 비교되는가?
• RQ5 한 조건에서만 발현된 유전자, 즉 DE 분석에 도전적인 상황에서 방법들은 어떻게 성능을 발휘하는가?

주요 결과

• 모든 지표에서 유일하게 뛰어난 성능을 보이는 방법은 없었지만, 음이이항분포 모델 기반인 edgeR, DESeq, baySeq는 낮은 위양성률을 유지하면서 민감도와 특이도의 균형이 가장 우수하였다.
• Cuffdiff는 높은 위양성률과 감소한 민감도를 보였으며, 이는 이sovolumetric 발현과 전사체 길이를 고려한 복잡한 정규화 때문일 가능성이 높다.
• 원래 마이크로어레이를 대상으로 설계된 limma 패키지는 RNA-seq 전용 도구들과 유사하거나 더 뛰어난 성능을 보였으며, 특히 voom 정규화를 사용할 경우 더욱 두드러졌다.
• 생물학적 복제 수를 늘이는 것이 시퀀싱 깊이를 높이는 것보다 유의미하게 더 높은 검출 능력을 제공하였으며, 특히 저발현 유전자에서 두드러졌다.
• limma의 voom 정규화는 위양성률을 감소시키고, 시퀀싱 깊이 및 복제 수에 대한 민감도를 향상시켜 분위수 정규화를 능가하였다.
• 음이이항분포 모델 기반 방법(예: edgeR, DESeq, baySeq)은 포isson 기반 또는 모델 기반이 아닌 접근 방식보다 위양성 제어에서 뛰어난 성능을 보였다.