[論文レビュー] FedCM: A Real-time Contribution Measurement Method for Participants in Federated Learning

Boyi Liu, Bingjie Yan+3 more|arXiv (Cornell University)|Sep 8, 2020

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、フェデレーテッドラーニング（FL）参加者に対するリアルタイム寄与測定手法であるFedCMを提案する。この手法は、アテンションベースのアグリゲーションを用いて、各ラウンドにおける各エージェントのモデル改善への影響を動的に評価する。FedCMは、データ品質および数量に対するタイムリーで軽量かつ感受性の高い評価を可能にし、Shapley Valueなどの最先端手法に比べて低品質またはデータ量が減少したエージェントをより効果的に検出できる。また、実世界のFLシステムへの導入も可能である。

ABSTRACT

Federated Learning (FL) creates an ecosystem for multiple agents to collaborate on building models with data privacy consideration. The method for contribution measurement of each agent in the FL system is critical for fair credits allocation but few are proposed. In this paper, we develop a real-time contribution measurement method FedCM that is simple but powerful. The method defines the impact of each agent, comprehensively considers the current round and the previous round to obtain the contribution rate of each agent with attention aggregation. Moreover, FedCM updates contribution every round, which enable it to perform in real-time. Real-time is not considered by the existing approaches, but it is critical for FL systems to allocate computing power, communication resources, etc. Compared to the state-of-the-art method, the experimental results show that FedCM is more sensitive to data quantity and data quality under the premise of real-time. Furthermore, we developed federated learning open-source software based on FedCM. The software has been applied to identify COVID-19 based on medical images.

研究の動機と目的

• リソース配分やインcentiveメカニズムを支援できる、リアルタイムで公平なフェデレーテッドラーニングシステムにおける寄与測定の欠如に対処すること。
• オフライン計算や高コストなオーバーヘッドを必要とせず、軽量かつ計算効率の良い方法でエージェントの寄与を評価すること。
• リアルタイムで、低品質または低容量のデータを提供するエージェントを正確に検出すること。
• 実世界の医療画像分析などの応用に適した、統合済みの寄与測定機能を備えた、デプロイ可能なオープンソースのFLソフトウェアを支援すること。
• 動的寄与追跡による早期特定を通じて、フェデレーテッドラーニングにおける公平性とセキュリティを向上させること。

提案手法

• FedCMは、各ラウンドにおけるクライアントのモデル更新に基づき、アテンション機構を用いて動的アテンション重みを計算する。
• サーバー側のモデルパラメータの変化（前回ラウンドと今回のラウンドの差分）を分析することで、寄与をアグリゲートする。両方のラウンドの情報（現在および過去）を用いる。
• アテンション重みとモデルレイヤーごとのパラメータ変化を組み合わせた数式的定式化により、寄与レートを計算する。
• アテンションベースのモデルを活用し、各エージェントの更新がグローバルモデルの性能向上に与える影響を評価する。
• リアルタイム動作を設計しており、通信ラウンドごとに寄与を更新し、リソース配分のための即時フィードバックを可能にする。
• 本手法は、プライバシー保護型医療AIアプリケーションに適した、オープンソースのFLフレームワーク「FedMedical」に統合されている。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるエージェントの寄与は、どのようにリアルタイムで測定可能か。これにより、動的リソース配分が可能になるか。
• RQ2 既存のオフライン手法と比較して、提案手法はデータ量および品質の変動に対してどの程度感受性が高いか。
• RQ3 本手法は、トレーニング中において、低品質または低容量のデータを提供するエージェントを効果的に検出し、ペナルティを科せるか。
• RQ4 アテンションベースのアグリゲーション機構は、Shapley Valueと比較して、寄与測定における公平性および応答性をどのように向上させるか。
• RQ5 医療画像分析のような実世界のFLシステムに、顕著な計算オーバーヘッドを伴わずに、本手法を効率的にデプロイ可能か。

主な発見

• FedCMは、Shapley Valueに比べて、データ量および品質の変動に対してより高い感受性を示した。特に、データ量が70％減少したエージェントの検出において顕著であった。
• ランダムな単語列をデータとして用いた実験では、FedCMは同様に低寄与を割り当て、Shapley Valueと同等の検出能力を示したが、リアルタイムで実現可能であった。
• 通常のデータ分布下では、寄与スコアが一貫性があり、安定しており、エージェント間での乖離が最小限に抑えられていた。
• 異なるエージェントでデータ量をそれぞれ30％および70％に減少させた場合、FedCMは相対的な差を明確に反映したが、Shapley Valueはその差を効果的に捉えられなかった。
• FedCMを基盤とするオープンソースのFedMedicalソフトウェアは、分散型病院間でプライバシー保護型のフェデレーテッドトレーニングを実現し、COVID-19検出に成功した。
• FedCMはリアルタイムの寄与追跡を可能にし、生産環境のFLシステムにおける動的インcentiveメカニズムやリソース配分に適している。