[論文レビュー] Split Learning for collaborative deep learning in healthcare

Maarten G. Poirot, Praneeth Vepakomma+4 more|arXiv (Cornell University)|Dec 27, 2019

Machine Learning in Healthcare参考文献 23被引用数 82

ひとこと要約

Split learningは、複数の医療機関にまたがる協調型深層学習を実現し、中央集権的または非協力的な設定と同等かそれ以上の性能を、網膜と胸部X線タスクで達成し、クライアント数が増えるにつれて利点が持続する。

ABSTRACT

Shortage of labeled data has been holding the surge of deep learning in healthcare back, as sample sizes are often small, patient information cannot be shared openly, and multi-center collaborative studies are a burden to set up. Distributed machine learning methods promise to mitigate these problems. We argue for a split learning based approach and apply this distributed learning method for the first time in the medical field to compare performance against (1) centrally hosted and (2) non collaborative configurations for a range of participants. Two medical deep learning tasks are used to compare split learning to conventional single and multi center approaches: a binary classification problem of a data set of 9000 fundus photos, and multi-label classification problem of a data set of 156,535 chest X-rays. The several distributed learning setups are compared for a range of 1-50 distributed participants. Performance of the split learning configuration remained constant for any number of clients compared to a single center study, showing a marked difference compared to the non collaborative configuration after 2 clients (p < 0.001) for both sets. Our results affirm the benefits of collaborative training of deep neural networks in health care. Our work proves the significant benefit of distributed learning in healthcare, and paves the way for future real-world implementations.

研究の動機と目的

• 医療分野のデータ不足とプライバシーの問題を動機づけ、対処する。
• 医療環境に適した split learning (U字型) フレームワークを提案する。
• 医用画像タスクで split learning を中央集権的および非協力ベースラインと比較評価する。
• 1-50の分散参加者にわたるスケーラビリティを評価し、性能の安定性を分析する。

提案手法

• 3つのリンク（front local、center central、back local）を用いたU字型split learning構成を適用する。
• rawデータやラベルを共有せずにクライアント間で順次ネットワークを訓練し、クライアント切替時に局所状態を転送する。
• Diabetic RetinopathyにはResnet-34、CheXpertにはDenseNet-121を標準のAdam最適化で用いる。
• Centralizedトレーニングおよび非協力トレーニングと性能を比較する。評価指標はDRは accuracy、CheXpertはAUROC。
• データを75%訓練、25%検証に分割し、クライアント間で等分、患者データの重複なし。
• 協調モードでは1エポック、非協力モードは協調設定のデータサイズと同等。

実験結果

リサーチクエスチョン

• RQ1 医療用画像タスクにおいてsplit learningは中央集権的トレーニングと同等の性能を引き出せるか。
• RQ2 分散参加者数の増加（1-50）に伴いsplit learningを通じた協働はどう拡張するか。
• RQ3 タスクとクライアント数の組み合わせでsplit learningと非協力トレーニングの性能差はどれくらいか。
• RQ4 医療におけるU字型split learning構成のプライバシーと帯域幅への影響はどの程度か。
• RQ5 非医療設定での他の分散アプローチと比べ、split learningの性能はどうなるか。

主な発見

number of clients	Split learning mean (DR)	Non collaborative mean (DR)
1	0.888 (0.896, 0.880)	0.869 (0.877, 0.861)
2	0.850 (0.857, 0.843)	0.852 (0.865, 0.839)
3	0.868 (0.875, 0.861)	0.753 (0.766, 0.742)
4	0.884 (0.891, 0.878)	0.754 (0.770, 0.739)
5	0.869 (0.877, 0.861)	0.755 (0.772, 0.738)
8	0.887 (0.894, 0.880)	0.717 (0.733, 0.701)
10	0.858 (0.868, 0.849)	0.676 (0.695, 0.657)
15	0.838 (0.848, 0.829)	0.627 (0.649, 0.603)
20	0.860 (0.868, 0.852)	0.613 (0.632, 0.594)
25	0.850 (0.858, 0.841)	0.607 (0.627, 0.588)
30	0.814 (0.831, 0.797)	0.620 (0.648, 0.590)
35	0.798 (0.819, 0.780)	0.633 (0.656, 0.611)
40	0.852 (0.859, 0.844)	0.595 (0.619, 0.568)
45	0.883 (0.891, 0.876)	0.608 (0.634, 0.581)
50	0.859 (0.869, 0.849)	0.588 (0.611, 0.565)

• Split learningは両データセットで非協力トレーニングより一貫して上回った。
• CheXpertでは、非協力設定の平均性能は協調設定より有意に低かった（クライアント数が2を超える場合にp<0.005）。
• DRの結果は1-50クライアントでSplit learningの性能が安定しており、クライアント数が増えるにつれて非協力構成より高い精度を示す。
• Table 1はDRの結果を報告しており、1クライアントではSplit learning=0.888、非協力=0.869、2クライアントでは0.850 vs 0.852、以降の高いクライアント数でもSplit learningは競合的な値を示す（表の値を使用）。
• CheXpertは5タスクのAUROCを用い、Split learningが非協力設定を上回り、クライアント数が増えるにつれて有意差が現れる。
• 本研究は、医療分野における分散トレーニングはSplit learningを通じて顕著な性能向上をもたらし、将来の実世界実装を支持する。