[論文レビュー] Federated Learning under Distributed Concept Drift

Ellango Jothimurugesan, Kevin Hsieh+3 more|arXiv (Cornell University)|Jun 1, 2022

Data Stream Mining Techniques被引用数 14

ひとこと要約

本稿では、局所的なドリフト検出と階層的クラスタリングを通じて、動的に複数のクライントごとのモデルを生成することにより、分散型のコンセプストラックに対処する2つの新しいフェデレーテッドラーニングフレームワーク、FedDriftおよびFedDrift-Eagerを提案する。これらの手法は、クライント間で段階的かつ複数のコンセプトドリフトが発生する状況において、近似的にオラクル性能（SINE-2で99.56％）を達成し、現実世界および合成ドリフトシナリオにおいて、単一モデルベースラインと比べて顕著に優れた精度と安定性を示した。

ABSTRACT

Federated Learning (FL) under distributed concept drift is a largely unexplored area. Although concept drift is itself a well-studied phenomenon, it poses particular challenges for FL, because drifts arise staggered in time and space (across clients). To the best of our knowledge, this work is the first to explicitly study data heterogeneity in both dimensions. We first demonstrate that prior solutions to drift adaptation that use a single global model are ill-suited to staggered drifts, necessitating multiple-model solutions. We identify the problem of drift adaptation as a time-varying clustering problem, and we propose two new clustering algorithms for reacting to drifts based on local drift detection and hierarchical clustering. Empirical evaluation shows that our solutions achieve significantly higher accuracy than existing baselines, and are comparable to an idealized algorithm with oracle knowledge of the ground-truth clustering of clients to concepts at each time step.

研究の動機と目的

• データ分布が時間とともに非定常的かつクライント間で異なる分散型コンセプストラックの課題に対処すること。
• 異種のクライント間で段階的かつ複数のコンセプストラックが発生する状況において、単一グローバルモデルアプローチの根本的限界を特定すること。
• 各時刻でアクティブなコンセプトに基づいてクライントをクラスタリングする時間変動型のクラスタリングフレームワークを構築し、コンセプトに配慮したモデル学習を可能にすること。
• ドリフト検出と階層的クラスタリングに基づいて、動的にモデルを生成・統合するスケーラブルで適応的な2つのアルゴリズム、FedDrift-EagerおよびFedDriftを提案すること。
• クライント-コンセプト割り当ての完全な知識を持つ理想化されたオラクルアルゴリズムに近いパフォーマンスを達成しつつ、実世界への実装に実用的であることを目指すこと。

提案手法

• 各クラスタが異なるデータコンセプトに対応する時間変動型クライントクラスタリング問題としてコンセプストラックをモデル化する。
• FedDrift-Eagerを、ドリフト検出に反応して即座に新しいモデルを生成するグリーディーでドリフトトリガー型のモデル作成メカニズムとして実装する。
• FedDriftでは階層的クラスタリングを用いて、同じコンセプトを経験するクライントをグループ化し、モデルの保守的な統合を可能にし、誤検出を低減する。
• 局所的ドリフト検出（例：統計的検定や誤差率のモニタリング）を用いてモデル作成をトリガーし、クライント固有のコンセプト変化に迅速に対応する。
• しきい値に基づく統合戦略を用いた階層的クラスタリングを適用し、モデルの忠実性を維持し、一時的なドリフトに過剰適合するのを防ぐ。
• 各クラスタごとに協調的にモデルを訓練し、同じコンセプトに属するクライントが共有モデルを共同で最適化できるようにし、一般化性能と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドリフトが異なるクライントで異なるタイミングで発生する状況において、単一モデルのフェデレーテッドラーニングフレームワークは、コンセプストラックを効果的に処理できるか？
• RQ2 分散型で非IIDな環境下において、時間変動型の複数コンセプトドリフトに適応するためのクライントクラスタリングは、どのように動的に調整可能か？
• RQ3 誤検出されたドリフトがモデルパフォーマンスに与える影響は何か？また、階層的クラスタリングはこの問題をどのように緩和できるか？
• RQ4 分散型で複数モデルを持つFLシステムは、クライント-コンセプト割り当ての完全な知識を持つオラクルアルゴリズムとどの程度同等のパフォーマンスを達成できるか？
• RQ5 複数の新しいコンセプトが同時に出現する状況下で、提案手法はどの程度スケーラブルか？また、集中型ドリフト適応手法と比べてどのように差がつくか？

主な発見

• FedDriftはSINE-2データセットで99.56％の精度を達成し、最良のベースライン（Adaptive-FedAvgで96.74％）を上回り、オラクル性能（99.65％）に近づいた。
• パンデミックに起因するコンセプストラックを示す実世界のFMoWデータセットにおいて、FedDriftは64％の精度を達成し、次に優れたベースライン（58％）を顕著に上回った。
• FedDrift-EagerはSINE-2で99.17％の精度を達成した一方、FedDriftは99.56％を達成し、複数のコンセプトが同時に出現する状況でも優れた耐性を示した。
• FedDriftは階層的クラスタリングにより、誤検出の影響を低減し、2タイムステップ以内に重複するモデルを統合した。これに対して、FedDrift-Eagerはモデルを保持し、汚染を引き起こした。
• 複数コンセプトドリフトシナリオ（例：SEA-4およびMNIST-4）において、FedDriftは高い精度と安定性を維持したが、集中型およびクラスタ型のFLベースラインは性能の回復に失敗した。
• FedDriftの階層的クラスタリング機構により、一時的なドリフトからの効果的な回復が可能となり、特に検出しきい値が低い場合のしきい値選択の不確実性に対しても耐性が向上した。