[논문 리뷰] Federated Learning under Distributed Concept Drift

Ellango Jothimurugesan, Kevin Hsieh외 3명|arXiv (Cornell University)|2022. 06. 01.

Data Stream Mining Techniques인용 수 14

한 줄 요약

이 논문은 분산 개념 드리프트를 다루기 위해 지역적 드리프트 감지와 계층적 군집화를 통해 클라이언트별로 동적으로 다수의 모델을 생성하는 두 가지 새로운 피어드된 학습 프레임워크인 FedDrift 및 FedDrift-Eager을 제안한다. 이 방법들은 실세계 및 합성 드리프트 시나리오에서 단일 모델 기반 보다 뛰어난 정확도와 안정성을 확보하며, SINE-2에서 near-oracle 정확도(99.56%)를 달성한다. 이는 클라이언트 간에 순차적으로 발생하는 다중 개념 드리프트에 적응함으로써 달성된다.

ABSTRACT

Federated Learning (FL) under distributed concept drift is a largely unexplored area. Although concept drift is itself a well-studied phenomenon, it poses particular challenges for FL, because drifts arise staggered in time and space (across clients). To the best of our knowledge, this work is the first to explicitly study data heterogeneity in both dimensions. We first demonstrate that prior solutions to drift adaptation that use a single global model are ill-suited to staggered drifts, necessitating multiple-model solutions. We identify the problem of drift adaptation as a time-varying clustering problem, and we propose two new clustering algorithms for reacting to drifts based on local drift detection and hierarchical clustering. Empirical evaluation shows that our solutions achieve significantly higher accuracy than existing baselines, and are comparable to an idealized algorithm with oracle knowledge of the ground-truth clustering of clients to concepts at each time step.

연구 동기 및 목표

• 시간이 지남에 따라 비정상적으로 변화하고 클라이언트 간으로 다를 수 있는 데이터 분포의 개념 드리프트 문제를 해결한다.
• 이질적인 클라이언트 간에 순차적이고 다중 개념 드리프트를 다룰 수 없는 단일 글로벌 모델 접근 방식의 근본적 한계를 규명한다.
• 각 시점에서 활성 개념이 동일한 클라이언트를 군집화하는 시간에 따라 변하는 군집화 프레임워크를 개발하여 개념 인식 모델 훈련을 가능하게 한다.
• 드리프트 감지와 계층적 군집화를 기반으로 동적으로 모델을 생성하고 융합하는 가용성과 적응성이 뛰어난 두 가지 알고리즘인 FedDrift-Eager과 FedDrift을 제안한다.
• 클라이언트-개념 할당을 완전히 알고 있는 이상화된 오라클 알고리즘에 가까운 성능을 달성하면서도 실세계 구현에 실용적인 방법을 확보한다.

제안 방법

• 각 군집이 별개의 데이터 개념에 대응하는 시간에 따라 변하는 클라이언트 군집화 문제로 개념 드리프트를 모델링한다.
• FedDrift-Eager은 드리프트 감지에 의해 유도되는 탐욕적 모델 생성 메커니즘으로, 클라이언트에서 개념 변화를 감지할 경우 새로운 모델을 생성한다.
• FedDrift는 동일한 개념을 경험하는 클라이언트를 군집화하기 위해 계층적 군집화를 설계하여 모델 융합을 보수적으로 수행하고 거짓 양성률을 줄인다.
• 지역적 드리프트 감지(예: 통계적 검정 또는 오류율 모니터링)를 사용해 클라이언트별 개념 변화에 민감하게 반응하도록 모델 생성을 트리거한다.
• 임계값 기반 융합 전략을 사용한 계층적 군집화를 적용하여 모델의 정밀도를 유지하고 일시적인 드리프트에 대한 과적합을 방지한다.
• 각 군집별로 공동으로 모델을 훈련시어 동일한 개념에 속한 클라이언트들이 공유 모델을 공동으로 최적화할 수 있도록 하여 일반화 및 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다른 클라이언트에서 서로 다른 시간에 드리프트가 발생할 경우, 단일 모델 피어드된 학습 프레임워크가 개념 드리프트를 효과적으로 다룰 수 있는가?
• RQ2 탈중앙화되고 비IIDs 환경에서 시간에 따라 변화하는 다중 개념 드리프트에 대해 클라이언트 군집화를 어떻게 동적으로 적응시킬 수 있는가?
• RQ3 거짓 양성 드리프트 감지의 모델 성능에 미치는 영향은 무엇이며, 계층적 군집화가 이 문제를 어떻게 완화할 수 있는가?
• RQ4 탈중앙화된 다중 모델 피어드된 학습 시스템이 클라이언트-개념 할당을 완전히 알고 있는 오라클 알고리즘과 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ5 다양한 새로운 개념이 동시에 발생할 경우, 제안된 알고리즘이 어떻게 확장 가능한가? 그리고 중심화된 드리프트 적응 방법과 비교해 어떤가?

주요 결과

• FedDrift는 SINE-2 데이터셋에서 99.56%의 정확도를 달성하여 최고의 베이스라인(Adaptive-FedAvg, 96.74%)을 뛰어넘고 오라클 성능(99.65%)에 근접했다.
• 팬데믹 유도 개념 드리프트가 있는 실세계 FMoW 데이터셋에서 FedDrift는 64%의 정확도를 기록했으며, 다음으로 좋은 베이스라인(58%)보다 뚜렷이 뛰어났다.
• SINE-2에서 FedDrift-Eager은 99.17%의 정확도를 기록했고, FedDrift는 99.56%를 달성하여 동시에 여러 개념이 발생할 경우 더 뛰어난 강건성을 보였다.
• FedDrift는 계층적 군집화를 통해 거짓 양성 영향을 줄였으며, 두 번째 시간 단위 이내에 중복 모델을 융합했지만, FedDrift-Eager은 모델을 유지하고 오염을 유발했다.
• 다중 개념 드리프트 시나리오(예: SEA-4 및 MNIST-4)에서 FedDrift는 높은 정확도와 안정성을 유지했고, 중심화된 및 군집화된 피어드된 학습 기반 모델은 성능 회복에 실패했다.
• FedDrift의 계층적 군집화 메커니즘은 일시적인 드리프트로부터 효과적으로 회복했으며, 특히 낮은 감지 임계값 설정에서의 불확실성에 대해 강건성을 향상시켰다.