[論文レビュー] Elementary methods provide more replicable results in microbial differential abundance analysis

Juho Pelto, Kari Auranen+2 more|arXiv (Cornell University)|Apr 3, 2024

Gut microbiota and health被引用数 4

ひとこと要約

本研究では、16S rRNAおよびショットガンメタゲノム解析から得られた53のデータセットを用いて、マイクロバイオーム研究における14種の差分豊度手法の評価が行われた。その結果、相対豊度に対するノンパラメトリック検定（例：Wilcoxon検定）、順序ロジスティック回帰、線形回帰/t検定、および存在/不在データに対するロジスティック回帰といった基本的手法が、データセットの分割や独立した研究間でより再現性の高い結果を示した。これらは、形式的な真の値が存在しないにもかかわらず、複雑な手法よりも一貫性に優れていた。

ABSTRACT

Differential abundance analysis is a key component of microbiome studies. Although dozens of methods exist there is currently no consensus on the preferred methods. While the correctness of results in differential abundance analysis is an ambiguous concept and cannot be fully evaluated without setting the ground truth and employing simulated data, we argue that a well-performing method should be effective in producing highly reproducible results. We compared the performance of 14 differential abundance analysis methods by employing datasets from 53 taxonomic profiling studies based on 16S rRNA gene or shotgun metagenomic sequencing. For each method, we examined how the results replicated between random partitions of each dataset and between datasets from separate studies. While certain methods showed good consistency, some widely used methods were observed to produce a substantial number of conflicting findings. Overall, when considering consistency together with sensitivity, the best performance was attained by analyzing relative abundances with a non-parametric method (Wilcoxon test or ordinal regression model) or linear regression/t-test. Moreover, a comparable performance was obtained by analyzing presence/absence of taxa with logistic regression.

研究の動機と目的

• 異なるマイクロバイオームデータセットにおける差分豊度解析手法の再現性を評価すること。
• 同じデータセットのランダムな分割に適用した場合や、独立した研究間で一貫性のある結果を生じる手法を特定すること。
• マイクロバイオーム研究において、複雑で特化した手法が基本的な統計的手法よりも本質的に優れているという仮定に疑問を呈すること。
• 差分豊度解析における結果の一貫性を最大化する手法の選定に、根拠に基づく指針を提供すること。

提案手法

• 著者らは、16S rRNAおよびショットガンメタゲノムシーケンシングから得られた53の系統的プロファイリングデータセットを対象に、14種の差分豊度手法を評価した。
• 各データセットについて、複数のランダムな分割における一貫性を評価することで、内部の再現性を測定した。
• 研究間の一貫性は、別々の研究から得られたデータセット間で、有意差を示す微生物群の重複度を指標として比較した。
• 相対豊度は、ノンパラメトリック検定（Wilcoxon）、順序ロジスティック回帰、線形回帰、t検定を用いて分析した。
• 存在/不在データは、ロジスティック回帰を用いて解析し、その再現性を評価した。
• 再現性に加えて感度も考慮し、分割や研究間での一貫性に基づいて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 同じデータセットに対してランダムな分割を適用した場合、どの差分豊度手法が最も再現性の高い結果を生じるか？
• RQ2 広く使われている複雑な手法と基本的手法は、研究間の一貫性においてどのように比較されるか？
• RQ3 手法選択が、微生物の差分豊度解析の再現性にどの程度影響を及えるか？
• RQ4 単純な統計手法が、マイクロバイオーム研究において結果の一貫性の面で、洗練されたモデルを上回ることができるか？

主な発見

• 相対豊度に対するWilcoxon検定や順序ロジスティック回帰といった基本的手法は、同じデータセットのランダムな分割において高い一貫性を示した。
• 相対豊度に対する線形回帰とt検定も強力な再現性を示し、より複雑なモデルと同等の性能を発揮した。
• 存在/不在データに対するロジスティック回帰は、同程度の再現性を達成しており、二値データに対する頑健な代替手法であることが示された。
• いくつかの広く使われている手法、特に特化したマイクロバイオームツールの多くは、分割や研究間で顕著な矛盾を生じさせた。
• 全体としての性能では、一貫性と感度の両面を考慮した場合、基本的手法が最も優れていた。
• 本研究では、複雑でモデルに基づく手法が、再現性の観点から基本的な統計的手法を一貫して上回る証拠を確認できなかった。