[論文レビュー] IFedAvg: Interpretable Data-Interoperability for Federated Learning

David Roschewitz, Mary‐Anne Hartley+2 more|arXiv (Cornell University)|Jul 14, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用数 5

ひとこと要約

iFedAvgは、タブルレートデータセットにおけるデータ相互運用性を向上させるために、クライアント固有で解釈可能なアフィン変換を導入する、画期的なフェデレーテッドラーニングフレームワークを提案する。この手法は、生データを共有せずに、局所的なデータ分布のずれを検出し、是正する。計算コストは最小限であり、外れ値クライアントにおけるモデルのロバスト性を著しく向上させ、フェデレーテッド参加者間でデータ不一致を細かく特徴レベルで解釈可能にする。

ABSTRACT

Recently, the ever-growing demand for privacy-oriented machine learning has motivated researchers to develop federated and decentralized learning techniques, allowing individual clients to train models collaboratively without disclosing their private datasets. However, widespread adoption has been limited in domains relying on high levels of user trust, where assessment of data compatibility is essential. In this work, we define and address low interoperability induced by underlying client data inconsistencies in federated learning for tabular data. The proposed method, iFedAvg, builds on federated averaging adding local element-wise affine layers to allow for a personalized and granular understanding of the collaborative learning process. Thus, enabling the detection of outlier datasets in the federation and also learning the compensation for local data distribution shifts without sharing any original data. We evaluate iFedAvg using several public benchmarks and a previously unstudied collection of real-world datasets from the 2014 - 2016 West African Ebola epidemic, jointly forming the largest such dataset in the world. In all evaluations, iFedAvg achieves competitive average performance with negligible overhead. It additionally shows substantial improvement on outlier clients, highlighting increased robustness to individual dataset shifts. Most importantly, our method provides valuable client-specific insights at a fine-grained level to guide interoperable federated learning.

研究の動機と目的

• 表形式データセットにおける異種クライアントのデータ分布が原因で生じるフェデレーテッドラーニングの低相互運用性を是正すること。
• 元のデータを共有せずに、外れ値データセットの検出と局所的データ分布のずれの補正を可能にすること。
• 信頼性と協働性の向上のため、特徴レベルでのデータ互換性に関するクライアント固有の解釈可能なインサイトを提供すること。
• 2014–2016年西アフリカエボラ出血熱流行の実世界で高リスクな医療データと公的ベンチマークを用いて、手法の評価を行うこと。
• パーソナライズされた解釈可能なデータ変換が、最小限の計算コストでモデルのロバスト性とフェデレーテッドラーニングの透明性を向上させることを実証すること。

提案手法

• FedAvgを拡張し、各クライアントごとに学習可能な要素ごとのアフィン層（スケーリングおよびシフト）を追加して、クライアント固有のデータ変換をモデル化する。
• これらのアフィン層はフェデレーテッドアベレージング中にエンドツーエンドで学習され、局所的なデータ分布のずれを是正するパーソナライズされた正規化を実現する。
• 生データの交換を一切行わないため、プライバシーを保持する。モデル勾配と集約更新情報のみに依存する。
• 各クライアントの特徴ごとの学習済みアフィン重みを可視化することで、解釈性を実現。これにより、他の参加者と比較した際のデータずれの方向性と大きさが明らかになる。
• フレームワークは、互換性のないクライアントの検出と、トレーニング中にそのクライアントのデータずれの自動是正を両方サポートする。
• このアプローチは計算的に軽量であり、標準的なFedAvgに比べてほとんど追加コストがない。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、生データを共有せずに、表形式データにおけるクライアント固有のデータ分布のずれを検出し是正できるか？
• RQ2 特徴レベルでのデータ相互運用性の解釈性をどのように向上させれば、フェデレーテッドラーニングにおける信頼性と協働性を強化できるか？
• RQ3 FedAvgと比較して、顕著なデータ分布のずれを示す外れ値クライアントにおいて、この手法はどの程度性能を向上させるか？
• RQ4 この手法は、固有の異質性を有する実世界の高リスク医療データセットに効果的に適用可能か？
• RQ5 解釈可能でパーソナライズされた変換を追加することで、競争力のある性能を維持しながらロバスト性が向上するか？

主な発見

• iFedAvgは、公的データセットおよび大規模な西アフリカエボラ出血熱データセットを含むすべてのベンチマークで、計算コストを最小限に抑えながら、競争力のある平均性能を達成した。
• 顕著なデータ分布のずれを示すクライアントにおいて、iFedAvgはFedAvgおよび集中学習よりも顕著な性能向上を示し、ロバスト性の向上を実証した。
• この手法は、特徴レベルでのデータずれを効果的に検出し是正でき、可視化により「小児科と高齢者施設における『年齢』の特徴」のように、クライアントの外れ値状態に寄与する特徴を明確に特定した。
• 学習済みアフィン変換はずれの方向性と大きさを明らかにし、研究者がデータの互換性と協働の適切さを透明に評価できるようにした。
• このフレームワークは、複数国にまたがる15か所以上のエボラ治療施設から得られた実世界のデータの異質性を効果的に処理し、複雑でプライバシーが重要な環境における実用性を検証した。
• この手法の解釈性は、クライアント参加やデータ品質に関する意思決定を支援し、偏ったまたは互換性のないデータによるモデル性能の低下リスクを低減する。