[論文レビュー] Stool Studies Don't Pass the Sniff Test: A Systematic Review of Human Gut Microbiome Research Suggests Widespread Misuse of Machine Learning

Thomas P. Quinn|arXiv (Cornell University)|Jul 8, 2021

Machine Learning in Healthcare参考文献 7被引用数 8

ひとこと要約

本システマティックレビューでは、102件のヒト腸内マイクロバイオーム分類研究を分析し、88%がテストセットの欠落または漏れによりAUC値を不適切に報告しており、診断的または予後予測的潜在能力を主張する機械学習モデルの信頼性を損なっていることが判明した。テストセットを真正の独立したセットとして使用した研究はわずか12%にとどまり、腸内マイクロバイオーム由来バイオマーカー研究の信頼性に深刻な疑問が呈された。

ABSTRACT

In the machine learning culture, an independent test set is required for proper model verification. Failures in model verification, including test set omission and test set leakage, make it impossible to know whether or not a trained model is fit for purpose. In this article, we present a systematic review and quantitative analysis of human gut microbiome classification studies, conducted to measure the frequency and impact of test set omission and test set leakage on area under the receiver operating curve (AUC) reporting. Among 102 articles included for analysis, we find that only 12% of studies report a bona fide test set AUC, meaning that the published AUCs for 88% of studies cannot be trusted at face value. Our findings cast serious doubt on the general validity of research claiming that the gut microbiome has high diagnostic or prognostic potential in human disease.

研究の動機と目的

• ヒト腸内マイクロバイオーム分類研究における機械学習の不適切な実践の頻度と影響を評価すること。
• テストセットの欠落や漏れが、モデル性能の主要指標であるAUC値に与える影響を評価すること。
• 腸内マイクロバイオームが信頼できる診断的または予後予測バイオマーカーとして機能できるという主張の妥当性を検証すること。
• 再現可能性を脅かす、報告および検証手法における体系的な問題を浮き彫りにすること。

提案手法

• PubMedを用いて、腸、便、便中、マイクロバイオーム、およびAUCに関連するキーワードを用いてシステマティックな文献サーチを実施した。
• 人間の腸内マイクロバイオーム分類研究で要約にAUCを報告していることを条件として、厳格な含む・除外基準を適用した。
• 研究設計、サンプルサイズ、分類アルゴリズム、シークエンシング手法、およびトレーニング・バリデーション・テストセットにおけるAUC報告に関するデータを抽出した。
• 真の独立したテストセットが使用されたか、漏れが発生したかに基づいて、モデルの検証品質を評価した。
• 適切なテストセット使用を行った研究と、欠落または漏れのある研究との間でAUC値を定量的に比較した。
• 統計解析を用いて、不適切な検証手法によるAUCの誇張幅を推定した。

実験結果

リサーチクエスチョン

• RQ1 ヒト腸内マイクロバイオーム分類研究は、どの程度頻繁にテストセットを欠落または不適切に使用しているか？
• RQ2 テストセットの欠落または漏れは、マイクロバイオーム研究における報告されたAUC値をどの程度誇張するか？
• RQ3 真正のテストセットを使用した研究と使用しない研究との間で、AUC性能にどのような差が生じるか？
• RQ4 機械学習手法の誤用は、腸内マイクロバイオームが臨床バイオマーカーとしての可能性を主張する信頼性にどのように影響を与えるか？

主な発見

• 102件の研究のうち、真正の独立したテストセットからのAUCを報告したのはわずか12％にとどまり、88％の研究が適切なモデル検証を実施していなかったことが示された。
• 真正のテストセットを使用しなかった研究は、有意に高いAUCを報告しており、95％信頼区間では、適切に検証された研究と比較して2.3～11.1ポイントの差が生じた。
• 機械学習の広範な誤用、特にテストセットの欠落や漏れは、楽観的で、場合によっては誤解を招く性能指標を生み出している。
• 分類器が偶律より優れていないケースは1件も見つからず、これは、不適切な検証手法にもかかわらず、陽性結果を支持する出版バイアスがあることを示唆している。
• 結果から、文献で主張されている腸内マイクロバイオームの診断的・予後予測的潜在能力は、メソドロジカルな欠陥のため、著しく誇張されている可能性があると示唆された。
• これらの結果は、臨床機械学習およびマイクロバイオーム研究分野における再現性と強靭性に関する広範な懸念と整合しており、報告基準の改善が急務であることを強調している。