[論文レビュー] The Dependence of Machine Learning on Electronic Medical Record Quality

Van Long Ho, David Ledbetter+2 more|PubMed|Mar 23, 2017

Machine Learning in Healthcare参考文献 18被引用数 27

ひとこと要約

本研究は、電子的医療記録（EMR）の品質のばらつき—訓練データのサイズ、入力タイプ、薬剤データの正確性—が、集中治療室（ICU）内死亡予測における機械学習のパフォーマンスに与える影響を調査する。2つの小児ICUのEMRデータを用いて、RNNの系列処理の利点にもかかわらず、多層パーセプトロン（MLP）が多様な患者集団においてRNNよりも一般化性能に優れていることが判明した。

ABSTRACT

There is growing interest in applying machine learning methods to Electronic Medical Records (EMR). Across different institutions, however, EMR quality can vary widely. This work investigated the impact of this disparity on the performance of three advanced machine learning algorithms: logistic regression, multilayer perceptron, and recurrent neural network. The EMR disparity was emulated using different permutations of the EMR collected at Children's Hospital Los Angeles (CHLA) Pediatric Intensive Care Unit (PICU) and Cardiothoracic Intensive Care Unit (CTICU). The algorithms were trained using patients from the PICU to predict in-ICU mortality for patients on a held out set of PICU and CTICU patients. The disparate patient populations between the PICU and CTICU provide an estimate of generalization errors across different ICUs. We quantified and evaluated the generalization of these algorithms on varying EMR size, input types, and fidelity of data.

研究の動機と目的

• 電子的医療記録（EMR）の品質のばらつきが、集中治療科の環境における機械学習モデルのパフォーマンスに与える影響を評価すること。
• 訓練データのサイズ、入力変数のタイプ、薬剤データの正確性の違いが、ICU間でモデルの一般化に与える影響を評価すること。
• ロジスティック回帰、多層パーセプトロン、再帰的ニューラルネットワークモデルの、ICU内死亡予測における耐性の強さを比較すること。
• 1つのICUで訓練されたモデルが、EMR特性が異なる別のICUに効果的に一般化できるかどうかを特定すること。
• 内部的および外部的臨床変数、および薬剤エンコードの正確性の違いが、モデルパフォーマンスに与える寄与度を定量化すること。

提案手法

• ロサンゼルス・チャイルドレンズ病院PICUおよびCTICU（2002–2016年）の匿名化されたEMRを用いて、EMR品質の差を模擬した。
• データの整備（誤差訂正、変数の集約）、データのピvォット（縦型から横型フォーマットへの変換）、標準化（生命徴収値・検査値のzスコア、治療法の[0,1]正規化）により、EMRを前処理した。
• 生理的変数には前方補完法を、欠損した治療法にはゼロ補完法を適用し、標準化により補完された値が集団平均を反映するようにした。
• 一般化性能を評価するために、データを訓練（PICUの50%）、検証（PICUの25%）、テスト（PICUの25%およびCTICU全件）に分割した。
• AUROCを主な指標として、ロジスティック回帰、多層パーセプトロン、再帰的ニューラルネットワークの3つのモデルを用いて、ICU内死亡予測のトレーニングと評価を実施した。
• 訓練データのサイズ（10%から100%）、入力タイプ（内部、外部、ベースライン）、薬剤エンコードの正確性（実数値 vs. 二値 vs. MeSHコード）を体系的に変化させた。

実験結果

リサーチクエスチョン

• RQ1 訓練データのサイズを小さくすることで、ロジスティック回帰、多層パーセプトロン、再帰的ニューラルネットワークモデルのICU内死亡予測パフォーマンスにどのような影響が生じるか？
• RQ2 異なる入力タイプ（内部、外部、統合）が、異なるICU集団におけるモデルパフォーマンスおよび一般化に与える影響は何か？
• RQ3 薬剤データの正確性を変化させること（実数値、二値、MeSHコード）が、モデルの予測精度と耐性に与える影響は何か？
• RQ4 EMR特性が異なるICU間（PICUからCTICUへ）にモデルを移行させた場合、モデルパフォーマンスはどのように低下するか？
• RQ5 再帰的ニューラルネットワークは、系列処理の利点を持つにもかかわらず、なぜICU間一般化において多層パーセプトロンに劣っているのか？

主な発見

• すべてのモデルが訓練データの減少に伴いパフォーマンスを低下させたが、10%の訓練データ（840件の症例）でも、最もパフォーマンスの良いモデル（MLP）はPICUテストセットでAUROC 0.867を達成した。
• 多層パーセプトロンは、CTICU集団でテストされた際、再帰的ニューラルネットワークよりも顕著に一般化性能に優れており、RNNの系列処理能力にもかかわらず、より高いAUROCを達成した。
• MeSHコード化された薬剤情報を使用した場合、RNNのパフォーマンスはCTICUテストセットで5%低下した。これは、PICUの訓練データからの外部変数への過剰適合の兆候である。
• モデル入力から外部変数を除去してもパフォーマンスにほとんど影響がなかったため、内部的生理的および血液検査変数が重症度予測に最も寄与していると考えられる。
• 実数値の薬剤投与量を二値の指標（存在／非存在）に置き換えても、モデルパフォーマンスに顕著な影響がなかった。これは、治療の有無そのものが十分な臨床的信号を捉えていることを示唆している。
• RNNは、10%のデータで訓練された場合、PICUテストセットで優れたパフォーマンスを示したが、これはPICUの治療パターンへの過剰適合に起因し、CTICU集団への一般化を妨げた。