[論文レビュー] Machine learning-based clinical prediction modeling -- A practical guide for clinicians

Julius M. Kernbach, Victor E. Staartjes|arXiv (Cornell University)|Jun 23, 2020

Machine Learning in Healthcare参考文献 36被引用数 5

ひとこと要約

本論文は、臨床医を対象に、機械学習に基づく臨床予測モデルの構築と評価のための実用的で段階的なガイドを提供する。データ前処理、特徴量選択、再サンプリング、モデル妥当性評価、報告方法をカバーしており、臨床的適用を促進するため、メソドロジカルな厳密性、一般化可能性、透明性を重視している。Rによる完全なコードパイプラインと、実際の膠芽腫（glioblastoma）データセットの例も提供されている。

ABSTRACT

In the emerging era of big data, larger available clinical datasets and computational advances have sparked a massive interest in machine learning-based approaches. The number of manuscripts related to machine learning or artificial intelligence has exponentially increased over the past years. As analytical machine learning tools become readily available for clinicians to use, the understanding of key concepts and the awareness of analytical pitfalls are increasingly required for clinicians, investigators, reviewers and editors, who even as experts in their clinical field, sometimes find themselves insufficiently equipped to evaluate machine learning methodologies. In the first section, we provide explanations on the general principles of machine learning, as well as analytical steps required for successful machine learning-based predictive modelling - which is the focus of this series. In further sections, we review the importance of resampling, overfitting and model generalizability as well as feature reduction and selection (Part II), strategies for model evaluation, reporting and discussion of common caveats and other points of significance (Part III), as well as offer a practical guide to classification (Part IV) and regression modelling (Part V), with a complete coding pipeline. Methodological rigor and clarity as well as understanding of the underlying reasoning of the internal workings of a machine learning approach are required, otherwise predictive applications despite being strong analytical tools are not well accepted into the clinical routine. Going forward, machine learning and artificial intelligence shape and influence modern medicine across disciplines including the field of neurosurgery.

研究の動機と目的

• 医療分野における予測モデリングのための明確で実行可能なガイドを提供することで、臨床医と機械学習の間のギャップを埋めること。
• 過学習、一般化能の低さ、不適切なモデル評価といった、臨床分野の機械学習応用で一般的に見られるメソドロジカルな落とし穴を解消すること。
• 機械学習モデルの報告におけるメソドロジカルな厳密性と透明性を促進することで、臨床的信頼性と採用を高めること。
• 分類および回帰の両方のタスクに適した、Rを用いた完全で再現可能なコードパイプラインを提供すること。
• 臨床医、査読者、編集者らが、医学文献における機械学習研究の妥当性を的確に評価できる知識を提供すること。

提案手法

• 臨床データに特化した機械学習の基本的原則を紹介し、予測タスクに焦点を当てた教師あり学習を扱う。
• 明確なワークフローを提示する：データ準備、特徴量選択、モデル学習、再サンプリング（例：交差検証）、性能評価。
• k分割交差検証などの再サンプリング技術の活用により、モデルの一般化能を評価し、過学習を低減することを強調する。
• 高次元の臨床データにおいて、モデルの解釈可能性と性能を向上させるために、特徴量の削減および選択手法を適用する。
• 実臨床データ（膠芽腫データセット）を用いた、分類および回帰モデルの完全なRベースの実装パイプラインを提供する。
• 報告基準と透明性の重要性を強調し、モデル評価における効果量、キャリブレーション、判別能、信頼区間を含む。

実験結果

リサーチクエスチョン

• RQ1 統計学やプログラミングに深い専門知識がなくても、臨床医が信頼性のある機械学習モデルを臨床予測のために開発する方法は何か？
• RQ2 臨床分野の機械学習において、主なメソドロジカルな落とし穴は何か？ そして、モデル開発および妥当性評価の段階でそれらを回避するにはどうすればよいか？
• RQ3 交差検証などの再サンプリング技術を用いて、モデルの一般化能をどのように評価し、向上できるか？
• RQ4 高次元性を持つ臨床データセットにおける特徴量選択および削減のベストプラクティスは何か？
• RQ5 臨床的関連性と信頼性を確保するには、どのように機械学習モデルを報告し、解釈すべきか？

主な発見

• k分割交差検証などの適切な再サンプリング技術は、臨床予測モデルにおける過学習を防ぎ、一般化能を確保するために不可欠である。
• 特徴量選択は、相関関係が強いまたは不要な予測子が多数存在するデータセットにおいて、モデルの性能と解釈可能性を著しく向上させる。
• 過学習は臨床分野の機械学習において依然として大きなリスクであり、特にモデルの複雑さがデータサイズを上回る場合に顕著であり、厳密な妥当性評価によって緩和できる。
• c-statistic や Brier スコアなどのキャリブレーションおよび判別能指標の評価は、正解率以外の観点からモデル性能を評価するために不可欠である。
• 完全で再現可能なRベースのコードパイプラインは、透明性を高め、臨床研究における機械学習の採用を促進する。
• 臨床医および査読者らは、発表されたモデルの妥当性と臨床的有用性を的確に評価できるよう、機械学習におけるメソドロジカルなリテラシーの向上が求められる。