[論文レビュー] FADL:Federated-Autonomous Deep Learning for Distributed Electronic Health Record

Dianbo Liu, Timothy A. Miller+2 more|arXiv (Cornell University)|Nov 28, 2018

Machine Learning in Healthcare参考文献 16被引用数 64

ひとこと要約

本論文は Federated-Autonomous Deep Learning (FADL) を紹介する。これは global と local の学習をバランスさせ、患者データを移動させることなく ICU の死亡率を予測する分散学習法である。

ABSTRACT

Electronic health record (EHR) data is collected by individual institutions and often stored across locations in silos. Getting access to these data is difficult and slow due to security, privacy, regulatory, and operational issues. We show, using ICU data from 58 different hospitals, that machine learning models to predict patient mortality can be trained efficiently without moving health data out of their silos using a distributed machine learning strategy. We propose a new method, called Federated-Autonomous Deep Learning (FADL) that trains part of the model using all data sources in a distributed manner and other parts using data from specific data sources. We observed that FADL outperforms traditional federated learning strategy and conclude that balance between global and local training is an important factor to consider when design distributed machine learning methods , especially in healthcare.

研究の動機と目的

• データを転送せず、機関間に分散されたEHRデータから学習を促進すること。
• グローバル情報とローカル情報を活用しつつ、プライバシーを保護する分散学習フレームワークを開発する。
• 多病院ICU死亡率データに対して、中央集約型と従来のフェデレーテッドラーニングと比較してFADLを評価する。

提案手法

• 58病院のeICU ICUデータを用い、1,264,89件の入院と1400個の潜在的薬物特徴を2値入力として使用する。
• ReLU 隠れ層とシグモイド出力を持つ3層ニューラルネットワーク（500, 100, 1）を実装し、交差エントロピー損失とL2正則化で学習する。
• 中央集約学習、元のフェデレーテッドラーニング、そして Federated-Autonomous Learning (FADL) の3つの学習戦略を比較する。
• FADL では、ネットワークの前半を全ソースでグローバルに学習し、次にデータソースごとに後半を局所学習して病院ごとに専門化する。
• フェデレーテッドラーニングのベースラインでは、各病院で同一パラメータのモデルを局所的に学習し、サンプルサイズで重み付けしてパラメータを集約する。
• 分散データから派生したテストセットでAUC-ROCとAUCPRを用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 データを移動させずにプライバシーを維持しつつ、FADL は従来のフェデレーテッドラーニングより予測性能を改善するか？
• RQ2 グローバル（共有）とローカル（病院固有）の学習のバランスが、集中モデルと同等またはそれ以上の精度をもたらすか？
• RQ3 ICU死亡率予測におけるFADLの性能を、集中学習および標準的なフェデレーテッドラーニングと比較するとどうなるか？

主な発見

学習方法	AUCROC	AUCPR
Centralized learning	0.79	0.21
Original federated learning	0.75	0.16
Federated autonomous deep learning (FADL)	0.79	0.23

• 中央集約学習はAUCROC 0.79とAUCPR 0.21を達成した。
• 元のフェデレーテッドラーニングはAUCROC 0.75とAUCPR 0.16を達成した。
• FADLはAUCROC 0.79とAUCPR 0.23を達成した。
• FADLはAUCROCで中央集約の性能と一致し、AUCPRではフェデレーテッドラーニングを上回る。
• グローバルとローカル学習のバランスが、分散型医療機械学習設計の重要な要因として特定される。