[논문 리뷰] A reproducible effect size is more useful than an irreproducible hypothesis test to analyze high throughput sequencing datasets

Andrew D. Fernandes, Michael Vu외 3명|arXiv (Cornell University)|2018. 09. 07.

Metabolomics and Mass Spectrometry Studies인용 수 4

한 줄 요약

이 논문은 소수의 샘플에서 특히 높은 재현성을 보이며, p-값보다 더 우수한 재현성을 보이는 비모수적이고 표준화된 중앙값 효과 크기 통계량인 $\mathcal{E}_{d}$를 고 throughput 시퀀싱(HTS) 데이터에 도입한다. 이는 최소 5개의 샘플이 있을 때조차도 진정으로 차별적으로 유용한 특징을 일관되게 식별할 수 있으며, p-값과 복합 변화율 기준보다 더 견고한 대안을 제공한다.

ABSTRACT

Motivation: P values derived from the null hypothesis significance testing framework are strongly affected by sample size, and are known to be irreproducible in underpowered studies, yet no suitable replacement has been proposed. Results: Here we present implementations of non-parametric standardized median effect size estimates, dNEF, for high-throughput sequencing datasets. Case studies are shown for transcriptome and tag-sequencing datasets. The dNEF measure is shown to be more reproducible and robust than P values and requires sample sizes as small as 3 to reproducibly identify differentially abundant features. Availability: Source code and binaries freely available at: https://bioconductor.org/packages/ALDEx2.html , omicplotR, and https://github.com/ggloor/CoDaSeq .

연구 동기 및 목표

• 소수의 샘플이 있는 고 throughput 시퀀싱(HTS) 연구에서 p-값의 재현성 부족 문제를 해결하기 위해.
• p-값이나 복합 변화율 기준보다 생물학적으로 의미 있는 차이를 더 잘 반영하는 표준화된 비모수적 효과 크기 지표를 개발하기 위해.
• 생물학적으로 관련된 질문인 '무엇이 실제로 재현 가능한가?'에 답하는, 근본적인 가설 검정(NHST)의 견고한 대안을 제공하기 위해.
• 다양한 HTS 데이터셋, 특히 전사체학 및 16S rRNA 시퀀싱 데이터에서 $\mathcal{E}_{d}$의 재현성, 위양성 발각률(FDR), 민감도 측면에서의 성능을 평가하기 위해.

제안 방법

• $\mathcal{E}_{d}$ 통계량은 그룹 간 표준화된 중앙값 차이를 계산하고, 산점의 중앙절댓값(MMAD)으로 스케일링하여 산란을 보정한다.
• 기술적 변동성을 모델링하고 원시 카운트 데이터를 확률적 표현으로 변환하기 위해 딜리클레 분포에서의 몬테카를로 샘플링을 사용한다. 이는 구성적 관계를 유지한다.
• 구성 데이터 분석 원리를 활용하여 절대 카운트에서 기인하는 오해를 피하기 위해 오직 상대 빈도와 그 차이만 고려한다.
• $\mathcal{E}_{d}$ 지표는 재현 가능한 분석과 상호작용 가능한 시각화를 위해 ALDEx2, CoDaSeq, omicplotR R 패키지에 구현되어 있다.
• 정규성 또는 특정 분포 형태를 가정하지 않는 비모수적 프레임워크를 사용하여, 과분산이 발생하는 HTS 카운트 데이터에 적합하다.
• 효과 크기 추정과 산란 모델링을 통합하여, 동시에 다르고 재현 가능한 특징만 식별하고, 고분산·저신뢰성 신호는 걸러낸다.

실험 결과

연구 질문

• RQ1 비모수적이고 표준화된 효과 크기 지표인 $\mathcal{E}_{d}$가 소수의 샘플이 있는 HTS 연구에서 p-값보다 차별적으로 유용한 특징을 더 잘 식별할 수 있는가?
• RQ2 샘플 수가 최소 5개일 때 $\mathcal{E}_{d}$의 재현성과 위양성 발각률(FDR)은 어떻게 평가되는가?
• RQ3 p-값과 복합 변화율 기준에 비해 $\mathcal{E}_{d}$는 생물학적 관련성과 얼마나 관련이 깊은가?
• RQ4 2배 변화율 기준을 $\mathcal{E}_{d}$에 통합할 경우, 위양성 신호를 줄이고 재현성을 향상시키는 데 어떤 영향을 미치는가?
• RQ5 $\mathcal{E}_{d}$는 전사체학 및 16S rRNA 유전자 시퀀싱 데이터와 같은 다양한 유형의 HTS 데이터에서 일관된 성능을 유지하는가?

주요 결과

• $\mathcal{E}_{d}$ 통계량은 p-값보다 더 높은 재현성을 보이며, 최소 5개의 샘플이 있을 때조차도 동일한 진정한 양성 특징을 일관되게 식별한다.
• 샘플 수가 2개일 경우 $\mathcal{E}_{d} > 1$의 위양성 발각률(FDR)은 40%에 이르지만, 샘플 수가 15개 이상이 되면 10% 이하로 감소한다.
• 2배 변화율 기준을 $\mathcal{E}_{d}$에 추가하면 FDR이 크게 감소하고, 재현 가능성과 관련이 없는 고분산 특징이 걸러진다.
• 절대적인 차이가 크지만 q-값이 근사적인 특징들은 종종 높은 변동성을 보이며, $\mathcal{E}_{d}$는 이러한 특징을 효과적으로 배제하여 신뢰도를 향상시킨다.
• $\mathcal{E}_{d}$ 통계량은 p-값과 거의 단조롭게 관련되어 있지만, p-값만으로는 예측할 수 없는 재현성에 대해 훨씬 더 신뢰할 수 있는 예측 지표이다.
• 이 지표는 전사체학 및 16S rRNA 유전자 시퀀싱 데이터를 포함한 다양한 데이터셋에서 뛰어난 성능을 보이며, 특징당 높은 산란이 존재하는 조건에서도 일관된 행동을 보인다.