[논문 리뷰] Enhancing Efficiency in Multidevice Federated Learning through Data Selection

Fan Mo, Mohammad Malekzadeh외 3명|arXiv (Cornell University)|2022. 11. 08.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

Centaur는 데이터 선택과 분할 기반 학습을 융합하여 초소형 엣지 디바이스(UCDs)가 대규모 딥 네URAL 네트워크를 효율적으로 학습하는 데 기여하는 다층형 피어드 페더레이티드 러닝 프레임워크이다. UCDs에서 로컬 학습 대비 약 10% 높은 정확도와 약 58%의 에너지 절감을 달성하며, 데이터 불균형과 연결성 이질성 문제를 효과적으로 다룬다.

ABSTRACT

Ubiquitous wearable and mobile devices provide access to a diverse set of data. However, the mobility demand for our devices naturally imposes constraints on their computational and communication capabilities. A solution is to locally learn knowledge from data captured by ubiquitous devices, rather than to store and transmit the data in its original form. In this paper, we develop a federated learning framework, called Centaur, to incorporate on-device data selection at the edge, which allows partition-based training of a deep neural nets through collaboration between constrained and resourceful devices within the multidevice ecosystem of the same user. We benchmark on five neural net architecture and six datasets that include image data and wearable sensor time series. On average, Centaur achieves ~19% higher classification accuracy and ~58% lower federated training latency, compared to the baseline. We also evaluate Centaur when dealing with imbalanced non-iid data, client participation heterogeneity, and different mobility patterns. To encourage further research in this area, we release our code at https://github.com/nokia-bell-labs/data-centric-federated-learning

연구 동기 및 목표

• 메모리, 컴퓨팅 능력, 연결성에 제한된 초소형 디바이스(UCDs)인 웨어러블 기기 및 IoT 센서에서 효율적인 페더레이티드 러닝을 가능하게 한다.
• 근처에 있는 강력한 디바이스(예: 스마트폰)를 릴레이로 활용하여 UCDs의 신뢰할 수 없고 끊김이 잦은 네트워크 연결성을 해결한다.
• 자원이 제한된 이질적이고 불균형적인 FL 환경에서 에너지 및 대역폭 오버헤드를 줄이면서도 높은 모델 정확도를 유지한다.
• 동적으로 가장 유의미한 데이터만 UCDs에서 APs로 선택 및 전송하여 중복 통신과 계산을 최소화하는 시스템을 설계한다.
• 기존의 FL 패러다임(예: FedAvg)과 호환되며, 모델 압축 및 계층적 집계와 같은 확장 기능을 지원한다.

제안 방법

• 딥 네URAL 네트워크를 UCDs에서 학습하는 경량 분류기와 더 강력한 액세스 포인트(APs)에서 학습하는 에너드로 분할한다.
• 학습 손실과 기울기 노름을 사용한 데이터 선택 메커니즘을 적용하여 샘플을 세 그룹으로 분류: 기각, UCDs에서 로컬로 학습, APs로 전송.
• UCDs에서 에너드를 고정하고 오직 분류기만 로컬로 학습함으로써 계산 부담과 에너지 소비를 감소시킨다.
• AP에서 UCDs와 APs의 기울기를 집계하여 평균화함으로써 전체 모델 전송 없이도 공동 모델 업데이트를 가능하게 한다.
• 동적 연결성과 기기 능력에 적응하는 자원 기반 학습 전략을 사용하여 다양한 네트워크 조건에서도 안정성을 확보한다.
• FedProx, FedAdam 등의 다른 FL 알고리즘과의 호환성을 지원하며, 향후 신경망 아키텍처 탐색 및 레이블 없는 데이터 선택과 같은 확장 기능도 가능하게 한다.

실험 결과

연구 질문

• RQ1 메모리, 컴퓨팅 능력, 끊김이 잦은 연결성에 제한된 초소형 엣지 디바이스(UCDs)에 대해 페더레이티드 러닝을 어떻게 효율적으로 확장할 수 있는가?
• RQ2 다기기 FL 환경에서 통신 및 에너지 오버헤드를 최소화하면서도 정확도를 극대화할 수 있는 데이터 선택 전략은 무엇인가?
• RQ3 UCDs와 APs 간의 모델 분할이 수렴성이나 정확도를 훼손하지 않으면서도 학습 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 Centaur는 정확도, 에너지 효율성, 데이터 불균형 및 클라이언트 이질성에 대한 저항성 측면에서 기준 로컬 학습 및 표준 FL 대비 얼마나 뛰어난가?
• RQ5 이 프레임워크는 다수의 UCDs를 하나의 AP에 연결하고, 모델 압축 또는 아키텍처 탐색과 같은 고급 기법과 통합할 수 있는가?

주요 결과

• Centaur는 네 가지 벤치마크 딥 네URAL 네트워크와 세 가지 데이터셋에서 초소형 디바이스에서 로컬 학습 대비 약 10% 높은 정확도를 달성한다.
• 선택적 데이터 전송과 UCDs에서의 경량 로컬 학습 덕분에 Centaur는 로컬 학습 대비 평균 에너지 소비를 58% 감소시킨다.
• 데이터 불균형 상황에서도 뛰어난 성능을 보이며, 일부 클라이언트가 적은 수의 표본이나 비대표적인 샘플을 기여하더라도 수렴성과 정확도가 향상된다.
• 다양한 네트워크 연결 가능성 조건에서도 높은 효율성을 유지하며, 끊김이 잦은 클라이언트 참여 상황에서도 강건성을 확보한다.
• 데이터 선택과 분할 기반 학습은 UCDs에서 효과적인 모델 업데이트를 가능하게 하며 무거운 계산을 APs로 오프로드하여 정확도와 자원 사용을 균형 있게 조절한다.
• Centaur는 FedAvg와 같은 표준 FL 알고리즘과 호환되며, 압축 및 계층적 집계 기법을 통합함으로써 추가적인 성능 향상을 이룰 수 있다.