[論文レビュー] Asynchronous Decentralized Federated Lifelong Learning for Landmark Localization in Medical Imaging

Guangyao Zheng, Michael Jacobs+2 more|arXiv (Cornell University)|Mar 12, 2023

Brain Tumor Detection and ClassificationNeuroscience被引用数 3

ひとこと要約

本稿では、中央サーバーと同期学習を排除し、プライバシーを守りながらスケーラブルな医療画像における特徴点局所化のためのフレームワーク、非同期分散型フェデレーテッド永続的学習（ADFLL）を提案する。BraTSデータセットにおいて7.81の平均距離誤差を達成し、従来の永続的学習（15.17）および中央集約型エージェント（11.78）を著しく上回り、ネットワーク障害やエージェントの脱落に対しても高い耐性を示す。

ABSTRACT

Federated learning is a recent development in the machine learning area that allows a system of devices to train on one or more tasks without sharing their data to a single location or device. However, this framework still requires a centralized global model to consolidate individual models into one, and the devices train synchronously, which both can be potential bottlenecks for using federated learning. In this paper, we propose a novel method of asynchronous decentralized federated lifelong learning (ADFLL) method that inherits the merits of federated learning and can train on multiple tasks simultaneously without the need for a central node or synchronous training. Thus, overcoming the potential drawbacks of conventional federated learning. We demonstrate excellent performance on the brain tumor segmentation (BRATS) dataset for localizing the left ventricle on multiple image sequences and image orientation. Our framework allows agents to achieve the best performance with a mean distance error of 7.81, better than the conventional all-knowing agent's mean distance error of 11.78, and significantly (p=0.01) better than a conventional lifelong learning agent with a distance error of 15.17 after eight rounds of training. In addition, all ADFLL agents have comparable or better performance than a conventional LL agent. In conclusion, we developed an ADFLL framework with excellent performance and speed-up compared to conventional RL agents.

研究の動機と目的

• データ共有なしに分散型モデル学習を可能にすることで、医療画像におけるプライバシーと計算制約に対処する。
• 中央集約と同期学習に起因するフェデレーテッドラーニングのボトル neck を克服する。
• 新しい画像シーケンスや環境に適応する際の災難的忘却を防ぐために、医療画像における永続的学習を可能にする。
• エージェントの脱落や異種の計算能力に対しても性能を維持できる、スケーラブルで頑健かつ柔軟なシステムを構築する。
• 実世界の医療画像タスクにおいて、中央集約型および従来の永続的学習ベースラインと比較して優れた性能と高速化を実証する。

提案手法

• 中央サーバーが不要で同期学習が不要な、非同期的で分散型のフェデレーテッド永続的学習（ADFLL）フレームワークを提案する。
• エージェントがハブやピアツーピア接続を通じてモデル更新を交換する分散型通信を採用し、柔軟なシステムトポロジーを実現する。
• 知識の保持と災難的忘却の防止のため、経験再生バッファ（ERB）を用いた永続的学習メカニズムを実装する。
• エージェントが独立して非同期に学習を行い、モデル更新を一貫性と収束性を保つ形で共有・統合する。
• 特徴点局所化に深層強化学習を活用し、エージェントが複数の画像シーケンスにわたって特徴点位置を予測する方策を学習する。
• ERBにおける知識の恒久的保存と、新規エージェントの参加時の迅速な収束を保証することで、ネットワーク障害に強いシステムを設計する。

Figure 1. Illustration of the 8 task-environment pairs. The red boxes indicate the true landmark location of the top left ventricle. The yellow box is a predicted location from ADFLL agents during their training progressions

実験結果

リサーチクエスチョン

• RQ1 中央サーバーが存在しない非同期的で分散型のフェデレーテッドラーニングシステムは、医療画像における永続的学習を効果的に行えるか？
• RQ2 ADFLLは、中央集約型および従来の永続的学習エージェントと比較して、局所化精度と学習速度の面でどの程度優れているか？
• RQ3 実世界の医療画像デプロイメントにおいて、ADFLLフレームワークはエージェントの脱落やネットワーク障害に対してどの程度耐性を示すか？
• RQ4 災難的忘却を防ぎつつ、多様な画像シーケンスや方向性に対しても高い性能を維持できるか？
• RQ5 システム内のエージェント数を増加させた場合、ADFLLフレームワークのスケーラビリティはどの程度か？

主な発見

• ADFLLは3ラウンドの学習後、BraTSデータセットで7.81の平均距離誤差を達成し、従来の永続的学習エージェント（15.17、p=0.01）を著しく上回った。
• すべてのデータに初期からアクセス可能な「すべてを知っている」中央集約型エージェント（平均距離誤差11.78）をも上回った。
• スケーラビリティの検証では、24エージェントにおいても低誤差を維持し、4ラウンド目で平均ユークリッド距離誤差が16.89に低下した。
• 耐性テストでは、75％のエージェント脱落状況下でも性能を維持し、5ラウンド目で平均誤差8.55を達成し、知識の恒久性を示した。
• 新規エージェントは1ラウンドの学習で既存エージェントに追いつけることから、優れた適応性と収束速度を示した。
• 従来の永続的学習および中央集約型ベースラインと比較して、優れたスループット向上と性能を示した。

Figure 2. Illustration of the 4-agent decentralized federated lifelong learning framework of our experiment.