[論文レビュー] The Future AI in Healthcare: A Tsunami of False Alarms or a Product of Experts?

Gari D. Clifford|arXiv (Cornell University)|Jul 20, 2020

Healthcare Technology and Patient Monitoring参考文献 37被引用数 4

ひとこと要約

この論文は、健康ケア分野のAIにおける過学習、バイアス、一般化性能の低さという問題を解決するため、多様で独立して訓練された機械学習モデルの投票アンサンブルを提案する。性能、独立性、文脈的特徴に基づいて重み付けされたアルゴリズムを組み合わせることで、予測精度を向上させ、臨床的・実用的な信頼区間を提供する。公開チャレンジが、このようなアンサンブルをスケーラブルに生成し、研究を加速するメカニズムとして機能する。

ABSTRACT

Recent significant increases in affordable and accessible computational power and data storage have enabled machine learning to provide almost unbelievable classification and prediction performances compared to well-trained humans. There have been some promising (but limited) results in the complex healthcare landscape, particularly in imaging. This promise has led some individuals to leap to the conclusion that we will solve an ever-increasing number of problems in human health and medicine by applying `artificial intelligence' to `big (medical) data'. The scientific literature has been inundated with algorithms, outstripping our ability to review them effectively. Unfortunately, I argue that most, if not all of these publications or commercial algorithms make several fundamental errors. I argue that because everyone (and therefore every algorithm) has blind spots, there are multiple `best' algorithms, each of which excels on different types of patients or in different contexts. Consequently, we should vote many algorithms together, weighted by their overall performance, their independence from each other, and a set of features that define the context (i.e., the features that maximally discriminate between the situations when one algorithm outperforms another). This approach not only provides a better performing classifier or predictor but provides confidence intervals so that a clinician can judge how to respond to an alert. Moreover, I argue that a sufficient number of (mostly) independent algorithms that address the same problem can be generated through a large international competition/challenge, lasting many months and define the conditions for a successful event. Finally, I propose introducing the requirement for major grantees to run challenges in the final year of funding to maximize the value of research and select a new generation of grantees.

研究の動機と目的

• 後向きに収集された医療データに基づいて訓練された健康ケアAIモデルにおける、広範な過学習と一般化性能の低さという問題に対処する。
• 解釈不能で信頼区間の推定ができない単一アルゴリズムの予測という傾向に対抗する。
• 複数の多様なアルゴリズムを、性能に重みを付けた投票によって統合するフレームワークを提案し、耐障害性と信頼性を向上させる。
• 公開コンペティション（チャレンジ）を、多様で高精度で独立して開発されたAIモデルを生成するメカニズムとして提唱する。
• 助成金制度を改革し、最終年度にチャレンジを主催することを義務づけ、上位成績を収めたチームにフォローアップ助成金を支給することで、研究のインパクトを最大化する。

提案手法

• 同じ臨床データを用いて訓練された複数の独立した機械学習アルゴリズムを、公開でアクセス可能なチャレンジ（PhysioNetを模倣）を通じて収集する。
• 各アルゴリズムを、全体的な性能、他のアルゴリズムからの独立性、および他のアルゴリズムを上回る状況を予測する特徴（文脈的関連性）に基づいて重みづけする。
• 性能重み付きスコアを用いて予測を集約する投票システムを適用し、より頑健な分類または予測を生成する。
• 信頼区間をアンサンブル出力に組み込み、臨床医が予測の信頼性と対応の緊急性を判断できるようにする。
• チャレンジにおける大規模かつ国際的な参加を活用し、多様なアルゴリズム的アプローチを生成し、単一モデルを上回る総合的性能を達成する。
• 主要助成金の支給条件として、最終年度にチャレンジを主催することを義務づけ、上位成績を収めたチームにフォローアップ助成金を支給する資金モデルを導入する。

実験結果

リサーチクエスチョン

• RQ1 複数の独立して訓練された機械学習モデルの投票アンサンブルは、健康ケア分野における臨床的イベントの予測において、単一モデルを上回る性能を示せるか？
• RQ2 信頼区間をどのように意味的にAIの予測に組み込むことができるか？臨床意思決定を支援するにはどうか？
• RQ3 公開チャレンジが、多様で高精度で一般化可能なAIモデルを、臨床予測タスクに適した形で生成できる程度はどの程度か？
• RQ4 トレーニングデータのバイアスやモデル開発環境が、アルゴリズムの性能と一般化性能に与える影響は何か？
• RQ5 チャレンジベースの評価が、助成金の助成における従来の査読制度を代替または補完できるか？研究生産性とイノベーションの向上に寄与できるか？

主な発見

• 現在の健康ケア分野の多くのAIモデルは、特定のトレーニングセットに過学習しており、異なる患者集団や臨床的文脈に一般化できない。
• 性能、独立性、文脈的特徴に基づいて重み付けされた、多様なアルゴリズムの投票アンサンブルは、予測精度と信頼性を著しく向上させる。
• 公開チャレンジ（例：PhysioNet/CinCシリーズ）は、大規模かつ国際的な協働によって、十分な数の独立した高精度モデルを生成できることを示している。
• アンサンブル予測から導出された信頼区間により、臨床医はアラートの信頼性を評価し、即時対応、延期、再検査の意思決定を下せる。
• 現在の助成金制度では、査読スコアと実際の研究生産性の相関が乏しく、代替的な評価メカニズムの導入が求められる。
• チャレンジベースの評価と上位成績チームへのフォローアップ資金の支給を義務づけることで、研究の価値を最大化し、臨床的有用なAIツールの開発を加速できる。