[논문 리뷰] Evaluation of tools for differential gene expression analysis by RNA-seq on a 48 biological replicate experiment

Nick Schurch, Pietá Schofield외 10명|arXiv (Cornell University)|2015. 05. 08.

Gene expression and cancer classification참고 문헌 32인용 수 363

한 줄 요약

이 연구는 높은 복제 수(48개 생물학적 복제) 실험을 통해 아홉 개인 RNA-seq 차등 발현 도구의 성능을 평가하여 최적의 복제 수준과 도구 성능을 규명한다. 낮은 복제 수(n_r > 6)에서는 edgeR이 다른 도구들보다 뛰어나며, 높은 복제 수(n_r ≥ 12)에서는 DESeq가 우월하다. 모든 변화율에서 85% 이상의 참 양성률을 확보하기 위해서는 n_r > 20 가 필요하다.

ABSTRACT

An RNA-seq experiment with 48 biological replicates in each of 2 conditions was performed to determine the number of biological replicates ($n_r$) required, and to identify the most effective statistical analysis tools for identifying differential gene expression (DGE). When $n_r=3$, seven of the nine tools evaluated give true positive rates (TPR) of only 20 to 40 percent. For high fold-change genes ($|log_{2}(FC)|\gt2$) the TPR is $\gt85$ percent. Two tools performed poorly; over- or under-predicting the number of differentially expressed genes. Increasing replication gives a large increase in TPR when considering all DE genes but only a small increase for high fold-change genes. Achieving a TPR $\gt85$% across all fold-changes requires $n_r\gt20$. For future RNA-seq experiments these results suggest $n_r\gt6$, rising to $n_r\gt12$ when identifying DGE irrespective of fold-change is important. For $6 \lt n_r \lt 12$, superior TPR makes edgeR the leading tool tested. For $n_r \ge12$, minimizing false positives is more important and DESeq outperforms the other tools.

연구 동기 및 목표

• RNA-seq에서 신뢰할 수 있는 차등 발현(이하 DGE) 검출을 위한 최소 생물학적 복제 수(n_r)를 규명하는 것.
• 다양한 복제 수 수준에서 아홉 가지 널리 사용되는 DGE 도구의 성능을 평가하는 것.
• 다양한 변화율 임계값에서 높은 참 양성률(TPR)을 유지하는 도구를 특정하는 것.
• 복제 수와 통계적 검정력 사이의 상호 교환 관계를 정량화하여 향후 실험 설계를 안내하는 것.
• 다양한 n_r 수준에서 거짓 양성과 거짓 음성 수를 최소화하는 데 도구의 강건성을 평가하는 것.

제안 방법

• 각 조건에 대해 48개의 생물학적 복제를 포함한 RNA-seq 실험을 수행하여 기준 데이터셋을 확보하였다.
• 아홉 가지 차등 발현 도구(edgeR, DESeq, limma-voom 등)를 다양한 복제 수 조합(n_r = 3에서 48까지)에 적용하였다.
• 높은 복제 수 데이터셋에서 알려진 차등 발현 유전자를 기반으로 참 양성률(TPR)과 거짓 발견률(FDR)을 계산하였다.
• 고변화율(|log2(FC)| > 2) 유전자와 전체 유전자로 나누어 각각 성능을 평가하였다.
• 정확도 비교를 위해 수신기 작동 특성(ROC) 곡선과 영역 하부 면적(AUC)을 사용하였다.
• 통계적 검정력을 평가하기 위해 TPR를 n_r 및 변화율 크기의 함수로 측정하였다.

실험 결과

연구 질문

• RQ1 RNA-seq 실험에서 모든 변화율에서 참 양성률(TPR) > 85%를 달성하기 위해 필요한 최소 생물학적 복제 수(n_r)는 얼마인가?
• RQ2 아홉 가지 주요 DGE 도구의 성능 지표는 복제 수(n_r) 증가에 따라 어떻게 변화하는가?
• RQ3 낮은 복제 수(n_r = 6–12)와 높은 복제 수(n_r ≥ 12)에서 각각 가장 높은 TPR를 달성하는 DGE 도구는 무엇인가?
• RQ4 변화율 크기가 증가함에 따라 참 양성률은 어떻게 변화하며, 복제 수는 이 관계에 어떤 영향을 미치는가?
• RQ5 어느 도구들이 잘못 校정되어 차등 발현 유전자 수를 과소 또는 과대 예측하는가?

주요 결과

• n_r = 3일 때, 아홉 도구 중 일곱 개가 모든 차등 발현 유전자에 대해 참 양성률(TPR)이 20–40%에 불과하였다.
• 고변화율 유전자(|log2(FC)| > 2)의 경우, 낮은 복제 수에서도 참 양성률이 85%를 초과하여 강한 신호에 대해 높은 검정력을 보였다.
• 모든 변화율에서 TPR > 85%를 확보하기 위해서는 n_r > 20 가 필요하며, 이는 약한 신호에 대해 높은 복제 수가 필요함을 시사한다.
• n_r > 6일 때 edgeR이 다른 도구들보다 뛰어나며, 특히 거짓 음성 수를 최소화해야 할 경우에 유리하다.
• n_r ≥ 12일 때 DESeq가 모든 다른 도구보다 뛰어나며, 특히 거짓 양성 수를 최소화하는 데 뛰어나다.
• 두 도구가 잘못 校정되어 차등 발현 유전자 수를 과소 또는 과대 예측하는 경향을 보였다.