[논문 리뷰] LEAF: A Benchmark for Federated Settings

Sebastian Caldas, Duddu, Sai Meher Karthik외 6명|arXiv (Cornell University)|2018. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 285

한 줄 요약

LEAF는 현실적인 연합 환경을 반영하기 위해 데이터세트, 평가 지표, 참조 구현을 포함한 연합 학습, 메타 학습 및 다중 작업 학습용 모듈러 오픈 소스 벤치마크를 제공합니다.

ABSTRACT

Modern federated networks, such as those comprised of wearable devices, mobile phones, or autonomous vehicles, generate massive amounts of data each day. This wealth of data can help to learn models that can improve the user experience on each device. However, the scale and heterogeneity of federated data presents new challenges in research areas such as federated learning, meta-learning, and multi-task learning. As the machine learning community begins to tackle these challenges, we are at a critical time to ensure that developments made in these areas are grounded with realistic benchmarks. To this end, we propose LEAF, a modular benchmarking framework for learning in federated settings. LEAF includes a suite of open-source federated datasets, a rigorous evaluation framework, and a set of reference implementations, all geared towards capturing the obstacles and intricacies of practical federated environments.

연구 동기 및 목표

• 연합 설정에서 통계적, 시스템적 및 프라이버시 도전을 포착하는 현실적인 벤치마크의 필요성을 촉진합니다.
• 연합 학습, 메타 학습, 다중 작업 학습을 연구하기 위한 데이터세트, 지표, 참조 구현으로 구성된 모듈형 프레임워크를 제공합니다.
• 다양한 장치와 분포에 걸친 재현 가능한 실험을 가능하게 하기 위해 오픈 소스 데이터세트와 표준화된 전처리를 제공합니다.
• 장치 간 성능 분포와 에지에서의 자원 사용을 반영하는 평가 방법론을 제안합니다.
• 대표적인 실험과 파이프라인을 통해 LEAF의 모듈성 및 재현성을 입증합니다.

제안 방법

• 자연스러운 장치 수준 분할을 갖춘 여섯 개의 현실적인 연합 데이터세트(FEMNIST, Sentiment140, Shakespeare, CelebA, Reddit, Synthetic)를 선별합니다.
• 통계적 지표와 시스템 지표를 모두 기록하는 데이터세트, 지표, 참조 구현으로 구성된 모듈식 프레임워크를 정의합니다.
• 장치 간 분포 및 자원 측면을 포착하기 위한 분위수와 계층 기반 성능 지표를 도입합니다.
• 기초 및 참조 알고리즘(FedAvg, 미니배치 SGD)과 더 많은 방법과 패러다임으로 확장할 계획을 제공합니다.
• Shakespeare 데이터의 FedAvg 수렴 동작을 재현하고 데이터 부족 및 에지 컴퓨팅 지표를 탐구함으로써 LEAF의 재현성을 입증합니다.
• LEAF 데이터세트를 다양한 실험 설정(로컬 모델, 혼합 데이터, Reptile을 이용한 메타 학습)에 통합하여 파이프라인 모듈화를 선보입니다.

실험 결과

연구 질문

• RQ1 실세계의 이질성 및 장치 규모 제약을 반영하는 데이터세트로 연합 설정을 어떻게 벤치마크할 수 있나요?
• RQ2 장치 간의 통계적 성능과 에지 자원 사용을 모두 효과적으로 포착하는 지표는 무엇인가요?
• RQ3 현실적인 연합 데이터 분포와 다양한 로컬 학습 방식에서 표준 연합 학습 기준선(FedAvg 등)은 어떻게 수행되나요?
• RQ4 LEAF의 데이터세트와 파이프라인은 특정 연합 데이터세트에 대해 로컬 모델 대 글로벌 모델 대 메타 학습 등 어떤 모델링 접근법이 더 적합한 시점을 드러내나요?
• RQ5 데이터 지연 및 장치 참여가 연합 설정의 재현성 및 평가에 미치는 영향은 무엇인가요?

주요 결과

데이터세트	FedAvg (Baseline) 정확도	추가 파이프라인 정확도
CelebA	89.46%	65.29%
Synthetic	71.89%	87.34%
Reddit	13.35%	12.60%
FEMNIST	74.72%	80.24%

• LEAF는 로컬 에폭 설정에서 알려진 Shakespeare FedAvg 수렴/발산 패턴을 재현함으로써 재현 가능한 실험을 가능하게 합니다.
• LEAF는 세부 통계 및 시스템 지표를 제공하며 사용자당 최소 샘플 수의 변화가 성능 분포에 어떤 영향을 미치는지 보여줍니다(예: Sentiment140).
• FedAvg는 데이터셋 간에 시스템 트레이드오프(통신 대 로컬 계산)에 있어 유리한 경우가 많으나 결과는 작업 및 데이터 분할에 따라 다릅니다.
• Table 2 시연에서 서로 다른 파이프라인(로컬 모델, 글로벌 IID, Reptile)은 데이터세트에 따라 서로 다른 정확도를 보이며 LEAF의 모듈성 및 데이터세트 특성의 동작을 보여줍니다.
• 여섯 가지 LEAF 데이터세트는 수천에서 수백만 대의 장치 규모와 장치별 데이터의 편향을 포괄하여 현실적인 연합 환경을 반영합니다.