[논문 리뷰] Attentive Federated Learning for Concept Drift in Distributed 5G Edge Networks

Amir Hossein Estiri, Muthucumaru Maheswaran|arXiv (Cornell University)|2021. 11. 14.

Data Stream Mining Techniques인용 수 7

한 줄 요약

이 논문은 주로 이동성, 장애 또는 새로운 인프라로 인해 예측할 수 없게 변화하는 데이터 분포로 인해 발생하는 개념 드리프트 문제를 해결하기 위해 주의 메커니즘을 사용하여 모델 업데이트의 기여도를 동적으로 가중하는 방식으로 분산 5G 엣지 네트워크에서의 개념 드리프트 적응을 향상시키는 Attentive Federated Learning (FedAtt)을 제안한다. FedAtt는 단일 및 다중 퍼그 드리프트 시나리오에서 FedAvg 대비 평균 절대 오차를 약 20% 감소시켜, 다시 시작하지 않고도 이질적인 엣지 노드 간에 더 빠른 적응과 지식 전이를 가능하게 한다.

ABSTRACT

Machine learning (ML) is expected to play a major role in 5G edge computing. Various studies have demonstrated that ML is highly suitable for optimizing edge computing systems as rapid mobility and application-induced changes occur at the edge. For ML to provide the best solutions, it is important to continually train the ML models to include the changing scenarios. The sudden changes in data distributions caused by changing scenarios (e.g., 5G base station failures) is referred to as concept drift and is a major challenge to continual learning. The ML models can present high error rates while the drifts take place and the errors decrease only after the model learns the distributions. This problem is more pronounced in a distributed setting where multiple ML models are being used for different heterogeneous datasets and the final model needs to capture all concept drifts. In this paper, we show that using Attention in Federated Learning (FL) is an efficient way of handling concept drifts. We use a 5G network traffic dataset to simulate concept drift and test various scenarios. The results indicate that Attention can significantly improve the concept drift handling capability of FL.

연구 동기 및 목표

• 이동성, 고장 또는 새로운 인프라로 인해 예측할 수 없게 변화하는 데이터 분포로 인해 발생하는 동적인 5G 엣지 네트워크 환경에서의 개념 드리프트 문제를 해결하기 위해.
• FedAvg의 고정 평균화 방식을 대체하여 주의 기반 동적 가중치를 사용함으로써 개념 드리프트 이후 모델 적응 속도를 향상시키기 위해.
• 다른 노드에서 관측된 드리프트 패턴을 학습하고 재사용함으로써 다양한 퍼그 노드 간에 지식 전이를 가능하게 하기 위해.
• 새로운 퍼그 스테이션을 처리하기 위한 스위칭 메커니즘을 개발하여 일시적으로 쿼리를 기존의 안정된 모델로 라우팅함으로써 새로운 퍼그가 안정화될 때까지 운영되도록 하기 위해.
• 초기 재학습 없이도 일시적 및 영구적 개념 드리프트를 모두 다룰 수 있는 강건성을 입증하기 위해.

제안 방법

• 학습 가능한 주의 가중치를 사용하여 글로벌 집계 중 각 로컬 모델의 기여도를 동적으로 조정하는 FedAvg의 변종인 연합 주의(FedAtt)를 제안한다.
• 다중 헤드 주의 메커니즘을 도입하여 다양한 퍼그 노드 간의 드리프트 패턴을 포착하고 드리프트 지식의 전이 학습을 가능하게 한다.
• 새로운 퍼그가 도입되었을 때 들어오는 쿼리를 분류하고 가장 적절한 전-드리프트 퍼그 모델로 라우팅하기 위해 두 층의 완전 연결 신경망을 스위칭 알고리즘으로 사용한다.
• 모델 성능 평가를 위해 퍼그 장애 및 일시적 부하 변화를 포함하는 5G 네트워크 트래픽 데이터셋을 사용하여 개념 드리프트를 시뮬레이션한다.
• 쿼리 분류 모델을 훈련하기 위해 교차 엔트로피 손실을 적용하고, 새로운 퍼그 통합 중 테스트 세트에서 정확도를 평가한다.
• 기존 지식을 유지하면서 새로운 데이터 분포에 적응해야 하는 지속적 학습 과제로 문제를 공식화한다.

실험 결과

연구 질문

• RQ1 기본 FedAvg 대비 주의 메커니즘을 사용한 연합 학습에서 분산 5G 엣지 네트워크에서 개념 드리프트에 대한 적응 시간을 크게 줄일 수 있는가?
• RQ2 FedAtt는 이전에 다른 노드에서 경험한 개념 드리프트 패턴을 새로운 퍼그 노드에 효과적으로 전이할 수 있는가?
• RQ3 다양한 퍼그 노드에서 동시에 발생하는 다중 동시 개념 드리프트 상황에서도 FedAtt가 낮은 오차율을 유지할 수 있는가?
• RQ4 제안된 스위칭 알고리즘이 사용자 쿼리의 교란을 최소화하면서 새로운 퍼그 스테이션 통합을 얼마나 효과적으로 처리할 수 있는가?
• RQ5 FedAtt는 초기 재학습 없이도 일시적 개념 드리프트를 처리할 수 있는가?

주요 결과

• FedAtt는 단일 퍼그 및 다중 퍼그 개념 드리프트 시나리오에서 FedAvg 대비 평균 절대 오차를 약 20% 감소시켜 더 빠른 적응 속도를 입증한다.
• 기존에 다른 퍼그에서 드리프트를 학습한 후 새로운 퍼그 노드에서 동일한 개념 드리프트에 10개의 훈련 스텝 이내에 적응함으로써 효과적인 지식 전이를 보여준다.
• 다중 개념 드리프트가 세 개의 다른 퍼그 노드에서 동시에 발생하더라도 수렴 후 모든 퍼그 노드에서 낮은 오차율을 유지한다.
• 스위칭 알고리즘은 새로운 퍼그 스테이션 배포 중 들어오는 쿼리를 적절한 전-드리프트 모델로 라우팅하는 데 95%의 정확도를 달성한다.
• FedAtt는 초기 재학습 없이도 일시적 개념 드리프트를 성공적으로 처리하며, 이전 지식을 유지하면서 새로운 데이터 분포에 적응한다.
• 주의 메커니즘은 FedAvg의 고정 가중치 평균화 방식에 비해 동적인 엣지 환경에서 더 빠른 수렴과 더 나은 일반화 성능을 가능하게 한다.