[논문 리뷰] Elementary methods provide more replicable results in microbial differential abundance analysis

Juho Pelto, Kari Auranen외 2명|arXiv (Cornell University)|2024. 04. 03.

Gut microbiota and health인용 수 4

한 줄 요약

이 연구는 16S rRNA 및 샷건 메타게놈 연구에서 유래한 총 53개 데이터셋을 사용하여 마이크로바이옴 연구에서 14가지 차등 분포 분석 방법을 평가한다. 분석 결과, 상대적 배율에 대한 순서형 회귀, 선형 회귀/t-검정, 존재/부재에 대한 로지스틱 회귀와 같은 간단한 방법들이 복잡한 방법들보다 더 높은 재현성을 보이며, 공식적인 기준값이 없는 상황에서도 일관성 있는 결과를 도출함을 확인하였다.

ABSTRACT

Differential abundance analysis is a key component of microbiome studies. Although dozens of methods exist there is currently no consensus on the preferred methods. While the correctness of results in differential abundance analysis is an ambiguous concept and cannot be fully evaluated without setting the ground truth and employing simulated data, we argue that a well-performing method should be effective in producing highly reproducible results. We compared the performance of 14 differential abundance analysis methods by employing datasets from 53 taxonomic profiling studies based on 16S rRNA gene or shotgun metagenomic sequencing. For each method, we examined how the results replicated between random partitions of each dataset and between datasets from separate studies. While certain methods showed good consistency, some widely used methods were observed to produce a substantial number of conflicting findings. Overall, when considering consistency together with sensitivity, the best performance was attained by analyzing relative abundances with a non-parametric method (Wilcoxon test or ordinal regression model) or linear regression/t-test. Moreover, a comparable performance was obtained by analyzing presence/absence of taxa with logistic regression.

연구 동기 및 목표

• 다양한 마이크로바이옴 데이터셋 간에 차등 분포 분석 방법의 재현성 평가
• 동일한 데이터셋의 무작위 분할에 적용했을 때 일관된 결과를 도출하는 방법 식별
• 마이크로바이옴 연구에서 복잡하고 전문화된 방법이 기본 통계 접근법보다 본질적으로 뛰어나다는 가정에 도전
• 차등 분포 분석에서 결과 일관성을 극대화하는 데 기초가 되는 방법 선택에 대한 근거 기반 지침 제공

제안 방법

• 저자들은 16S rRNA 및 샷건 메타게놈 시퀀싱에서 유래한 53개의 분류적 프로파일링 데이터셋에서 14가지 차등 분포 분석 방법을 평가하였다.
• 각 데이터셋에 대해, 무작위 분할을 여러 번 반복하여 내부 재현성 수준을 측정하기 위해 결과 일관성 여부를 평가하였다.
• 연구 간 일관성은 별개의 연구에서 유래한 데이터셋 간의 결과를 비교하여 평가하였으며, 검출된 차등 분포 유전자군의 겹침 정도를 지표로 사용하였다.
• 상대적 배율은 비모수적 검정(월리콕 검정), 순서형 회귀, 선형 회귀 및 t-검정를 사용하여 분석하였다.
• 존재/부재 데이터는 로지스틱 회귀를 사용하여 재현성 여부를 평가하였다.
• 성능 평가 기준은 분할 간 및 연구 간 일관성이며, 재현성과 함께 민감도도 고려하였다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋에 대해 무작위 분할에 적용했을 때 어떤 차등 분포 분석 방법이 가장 높은 재현성을 보이는가?
• RQ2 일반적으로 사용되는 복잡한 방법들이 기본 통계 방법과 비교해 연구 간 일관성에서 어떻게 성과를 내는가?
• RQ3 방법 선택의 영향이 마이크로바이옴 차등 분포 결과의 재현성에 얼마나 큰 영향을 미치는가?
• RQ4 간단한 통계 방법이 마이크로바이옴 연구에서 결과 일관성 측면에서 정교한 모델을 능가할 수 있는가?

주요 결과

• 상대적 배율에 대한 월리콕 검정 및 순서형 회귀 분석은 동일 데이터셋의 무작위 분할 간에 매우 높은 일관성을 보였다.
• 상대적 배율에 대한 선형 회귀 및 t-검정 역시 강력한 재현성을 보이며, 더 복잡한 모델들과 유사한 성능을 보였다.
• 존재/부재 데이터에 대한 로지스틱 회귀는 유사한 수준의 일관성을 확보하여 이진 데이터에 대한 견고한 대안임을 시사하였다.
• 다수의 널리 사용되는 방법, 특히 일부 전문화된 마이크로바이옴 도구들은 분할 및 연구 간에 상당한 수의 모순된 결과를 도출하였다.
• 일관성과 민감도를 종합적으로 고려할 때, 최상의 전반적 성능은 간단한 방법에서 달성되었다.
• 이 연구는 복잡하고 모델 기반 방법이 재현성 측면에서 기본 통계 접근법을 일관되게 뛰어넘는다는 증거를 발견하지 못했다.