[論文レビュー] Application of Federated Learning in Building a Robust COVID-19 Chest X-ray Classification Model

Amartya Bhattacharya, Manish Gawali+2 more|arXiv (Cornell University)|Apr 22, 2022

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本稿では、患者の画像データを中央集積せずに、コロナウイルス感染症の胸部X線画像を分類する耐障害性の高いディープラーニングモデルを学習するためのフェデレーテッドラーニング（FL）フレームワークを提案する。3つの非IID（非独立同分布）データソースで学習を行い、FedAvgを用いて局所的なモデル更新を集約することで、中央集積型モデルと同等の性能を達成した一方で、データの機微性を保ち、多様なデータ分布における一般化性能を向上させた。

ABSTRACT

While developing artificial intelligence (AI)-based algorithms to solve problems, the amount of data plays a pivotal role - large amount of data helps the researchers and engineers to develop robust AI algorithms. In the case of building AI-based models for problems related to medical imaging, these data need to be transferred from the medical institutions where they were acquired to the organizations developing the algorithms. This movement of data involves time-consuming formalities like complying with HIPAA, GDPR, etc.There is also a risk of patients' private data getting leaked, compromising their confidentiality. One solution to these problems is using the Federated Learning framework. Federated Learning (FL) helps AI models to generalize better and create a robust AI model by using data from different sources having different distributions and data characteristics without moving all the data to a central server. In our paper, we apply the FL framework for training a deep learning model to solve a binary classification problem of predicting the presence or absence of COVID-19. We took three different sources of data and trained individual models on each source. Then we trained an FL model on the complete data and compared all the model performances. We demonstrated that the FL model performs better than the individual models. Moreover, the FL model performed at par with the model trained on all the data combined at a central server. Thus Federated Learning leads to generalized AI models without the cost of data transfer and regulatory overhead.

研究の動機と目的

• 感受性の高い患者画像データの中央集積を回避することで、医療AIにおけるデータの機微性と規制遵守の課題に対処すること。
• 分布の多様性に乏しい1つのソースからのデータで学習することによるモデルバイアスの低減。
• 複数の非IIDデータソースを活用することで、多様な臨床的データ分布におけるモデルの一般化性能の向上。
• フェデレーテッドラーニングが、生データの移転なしに中央集積型学習と同等の性能を達成できることを実証すること。
• 個別、フェデレーテッド、統合された学習環境でのモデル性能を比較することで、医療画像におけるFLの有効性を検証すること。

提案手法

• 異なる3つのソースから得た3つの異なる非IIDの胸部X線画像データセットを用いて、3つの個別なディープラーニングモデル（CNNベース）を学習した。
• ベンチマーク比較のため、すべてのデータを統合した「統合」モデルを、すべてのデータにアクセス可能な単一のサーバーで学習した。
• フェデレーテッドアveraging（FedAvg）を用いて、3人のクライアント間でグローバルなFLモデルを学習し、各クライアントが局所的に学習し、モデルの更新のみを共有した。
• 5ラウンドにわたり、合計20エポックの学習を繰り返し、各ラウンド後にグローバルモデルを集約した。
• 各クライアントのテストセットに対して、しきい値に依存しない指標（AUROCとAUPRC）を用いてモデルを評価し、公平な比較を確保した。
• 生画像を中央サーバーに移転しないことで、データの機微性を確保した。すべての学習と集約処理は、ローカルかつ安全に実行された。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、多様で非IIDのデータ分布を持つ胸部X線画像分類モデルの一般化性能を向上させることができるか？
• RQ2 フェデレーテッドモデルの性能は、個別に学習したモデルと、すべてのデータを統合した中央集積型モデルと比べてどうなるか？
• RQ3 感受性の高い医療画像データの移転を回避することで、フェデレーテッドラーニングがどの程度のモデルの耐障害性を維持できるか？
• RQ4 1つのデータソースからの学習に比べて、FLフレームワークはデータバイアスを低減できるか？
• RQ5 フェデレーテッドラーニングは、患者のデータプライバシーを損なわず、中央集積型学習と同等の性能を達成できるか？

主な発見

• FLモデルは、異なるソースのテストセットにおいて、すべての個別クライアントモデルを上回る一般化性能を示した。
• クライアント1のテストセットでは、FLモデルがAUROC 99.61%を達成し、個別クライアント1モデル（99.96%）を上回り、クライアント2（37.85%）およびクライアント3（43.85%）のモデルを著しく上回った。
• クライアント2のテストセットでは、FLモデルがAUROC 92.31%を達成し、個別クライアント2モデル（93.94%）を上回り、クライアント1（37.85%）およびクライアント3（43.85%）のモデルを著しく改善した。
• クライアント3のテストセットでは、FLモデルがAUROC 88.31%を達成し、個別クライアント3モデル（97.73%）を上回り、クライアント1（43.85%）およびクライアント2（37.85%）のモデルを著しく改善した。
• 3つのクライアントのテストセットにおいて、FLモデルはそれぞれAUROC 99.61%、92.31%、88.31%を達成し、多様なデータ分布にわたって一貫した高い性能を示した。
• FLモデルの性能は、中央集積型「統合」モデルとほぼ同等であり、同じテストセットでAUROC 99.86%、99.92%、93.51%を達成した。これにより、FLがデータ移転なしに中央集積型学習と同等の性能を達成できることを確認した。