[논문 리뷰] Federated and continual learning for classification tasks in a society of devices

Fernando E. Casado, Dylan Lema외 3명|arXiv (Cornell University)|2020. 06. 12.

Data Stream Mining Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 스마트폰과 같은 자원이 제한된 장치에서 실시간으로 현지에서 지속적으로 분류를 수행하면서도 클라우드에 있는 글로벌 모델을 공동으로 향상시킬 수 있도록 하는 경량의 분산 및 지속 학습 프레임워크인 LFedCon2를 제안한다. 로컬 모델 훈련, 준감독 레이블링, 적응형 글로벌 공감을 조합함으로써 LFedCon2는 노이즈가 많은 데이터와 개념 이동에도 불구하고 걷기 인식에서 최대 86.32%의 균형 정확도를 달성하여 높은 정확도를 확보한다.

ABSTRACT

Today we live in a context in which devices are increasingly interconnected and sensorized and are almost ubiquitous. Deep learning has become in recent years a popular way to extract knowledge from the huge amount of data that these devices are able to collect. Nevertheless, centralized state-of-the-art learning methods have a number of drawbacks when facing real distributed problems, in which the available information is usually private, partial, biased and evolving over time. Federated learning is a popular framework that allows multiple distributed devices to train models remotely, collaboratively, and preserving data privacy. However, the current proposals in federated learning focus on deep architectures that in many cases are not feasible to implement in non-dedicated devices such as smartphones. Also, little research has been done regarding the scenario where data distribution changes over time in unforeseen ways, causing what is known as concept drift. Therefore, in this work we want to present Light Federated and Continual Consensus (LFedCon2), a new federated and continual architecture that uses light, traditional learners. Our method allows powerless devices (such as smartphones or robots) to learn in real time, locally, continuously, autonomously and from users, but also improving models globally, in the cloud, combining what is learned locally, in the devices. In order to test our proposal, we have applied it in a heterogeneous community of smartphone users to solve the problem of walking recognition. The results show the advantages that LFedCon2 provides with respect to other state-of-the-art methods.

연구 동기 및 목표

• 데이터가 비공개, 부분적이고 변화하는 분산된 센서 기반 환경에서 중심화된 딥 러닝의 한계를 해결한다.
• 클라우드 중심 학습의 확장성과 프라이버시 문제를 해결하기 위해 엣지 디바이스에서 탈중앙화되고 프라이버시를 보존하는 모델 훈련을 가능하게 한다.
• 시간이 지남에 따라 예측 불가능하게 변화하는 데이터 분포(개념 이동)가 발생하는 지속 학습 환경에서 실용적인 솔루션을 개발한다.
• 스마트폰 및 로봇과 같은 저자원 장치가 무거운 딥 네URAL 네트워크에 의존하지 않고 실시간으로 자율적이고 지속적인 학습을 수행할 수 있도록 한다.
• 로컬 인사이트와 글로벌 공감을 모두 활용하는 하이브리드 로컬-글로벌 학습 루프를 통해 모델 성능을 향상시킨다.

제안 방법

• 스트리밍되고 부분적으로 레이블링된 데이터를 사용하여 각 장치에서 경량의 전통적 분류기(예: RBF SVM, 랜덤 포레스트, XGBoost)를 로컬로 훈련한다.
• 클라우드 기반의 글로벌 모델을 활용해 로컬 장치의 미레이블링된 데이터에 대해 준감독 레이블링을 수행함으로써 로컬 모델 정확도를 향상시킨다.
• 로컬 데이터 분포의 변화를 감지하는 드리프트 감지 기능을 구현하여 데이터 분포의 이동을 식별하고 적응형 재훈련 또는 모델 업데이트를 트리거한다.
• 로컬 모델을 주기적으로 클라우드에서 집계하여 강력하고 업데이트된 글로벌 모델을 형성하는 글로벌 공감 메커니즘을 적용한다.
• 클라우드에서 다중 모델 앙상블 전략을 구현하여 다수의 로컬 모델 예측을 조합함으로써 일반화 능력과 강건성을 향상시킨다.
• 성능과 신뢰성에 기반해 로컬 모델을 동적으로 선택하고 업데이트함으로써 고성능 모델들만 글로벌 앙상블에 기여하도록 보장한다.

실험 결과

연구 질문

• RQ1 경량의 딥 러닝이 아닌 학습기 기반의 분산 학습 시스템이 실생활 엣지 기반 분류 작업에서 높은 성능을 달성할 수 있는가?
• RQ2 하이브리드 로컬-글로벌 학습 프레임워크는 엣지 디바이스에서 지속적으로 변화하는 데이터 스트림에서 개념 이동을 얼마나 효과적으로 다룰 수 있는가?
• RQ3 글로벌 모델을 활용한 준감독 레이블링이 저데이터 및 노이즈가 많은 상황에서 로컬 모델 정확도를 얼마나 향상시키는가?
• RQ4 일부 로컬 디바이스에서 잘못 레이블링되거나 노이즈가 많은 데이터를 제공할 경우 시스템은 어떻게 강건성을 유지하는가?
• RQ5 로컬 앙상블 크기($M_l$)와 글로벌 집계 빈도가 개념 이동 조건 하에서 수렴 속도와 모델 안정성에 어떤 영향을 미치는가?

주요 결과

• LFedCon2는 8명의 사용자 중 4명이 잘못 레이블링된 데이터를 제공하는 조건에서 RBF SVM을 기본 분류기로 사용하여 균형 정확도 86.32%를 달성하였으며, 독립된 분류기(59.43%)보다 뚜렷이 뛰어난 성능을 보였다.
• t=2500에서 개념 이동(클래스 레이블이 뒤집힘)이 발생한 후 시스템은 몇 천 번의 반복 이내에 높은 성능으로 회복하고 수렴함으로써 강력한 적응 능력을 입증했다.
• 글로벌 모델 피드백을 통한 준감독 레이블링이 모든 기본 분류기에서 로컬 모델 성능 향상에 기여하였으며, RBF SVM에서 가장 높은 성과 향상(59.43%에서 86.32%로)을 기록했다.
• 노이즈가 많은 데이터 조건에서도 시스템은 높은 민감도(최대 0.9940)와 특이도(최대 0.9029)를 유지하여 강력한 강건성을 보였다.
• 로컬 레이블링 오류를 수정하고 이동에 적응할 수 있는 글로벌 모델의 능력이, 특히 로컬 데이터가 편향되거나 불완전한 경우 성능 유지에 핵심적인 역할을 했다.
• 로컬 앙상블 크기($M_l$)를 줄임으로써 급격한 이동에 대한 적응 속도가 향상되었으며, 이는 속도와 안정성 간의 조정 가능한 트레이드오프를 시사한다.