[논문 리뷰] Oort: Efficient Federated Learning via Guided Participant Selection

Fan Lai, Xiangfeng Zhu외 2명|arXiv (Cornell University)|2020. 10. 12.

Privacy-Preserving Technologies in Data참고 문헌 68인용 수 47

한 줄 요약

Oort는 개발자 테스트 기준과 프라이버시를 존중하면서 높은 효용성과 빠른 참가자를 우선시해 정확도 도달 시간과 테스트 효율성을 개선하기 위한 가이드된 참가자 선택을 도입한다.

ABSTRACT

Federated Learning (FL) is an emerging direction in distributed machine learning (ML) that enables in-situ model training and testing on edge data. Despite having the same end goals as traditional ML, FL executions differ significantly in scale, spanning thousands to millions of participating devices. As a result, data characteristics and device capabilities vary widely across clients. Yet, existing efforts randomly select FL participants, which leads to poor model and system efficiency. In this paper, we propose Oort to improve the performance of federated training and testing with guided participant selection. With an aim to improve time-to-accuracy performance in model training, Oort prioritizes the use of those clients who have both data that offers the greatest utility in improving model accuracy and the capability to run training quickly. To enable FL developers to interpret their results in model testing, Oort enforces their requirements on the distribution of participant data while improving the duration of federated testing by cherry-picking clients. Our evaluation shows that, compared to existing participant selection mechanisms, Oort improves time-to-accuracy performance by 1.2x-14.1x and final model accuracy by 1.3%-9.8%, while efficiently enforcing developer-specified model testing criteria at the scale of millions of clients.

연구 동기 및 목표

• 대규모 FL에서 무작위 참가자 선발로 발생하는 비효율성을 유발하고 해결한다.
• 훈련을 위한 통계적 유용성과 시스템 속도를 모두 최적화하는 참가자 선발 프레임워크를 개발한다.
• 연합 테스트 중 개발자가 지정한 데이터 분포 기준의 확장 가능한 강제 적용 프레임워크를 개발한다.
• 훈련 및 테스트에서 참가자 유틸리티의 프라이버시를 보장하고 이상치 및 갱신 지연에 대해 견고성을 확보한다.

제안 방법

• 로컬 학습 손실과 데이터 크기에 기반한 실용적 근사치를 사용하여 클라이언트 통계적 유용성을 정의한다.
• 통계적 유용성과 시스템 효율의 균형을 맞추는 결합 유용성을 형식화하고 라운드 지속 시간을 조정하는 패서를 도입한다.
• 진부성과 이상치를 처리하면서 대규모에서 높은 유용성을 가진 참가자를 선택하기 위한 온라인 탐색-활용 전략(밴딧에서 영감을 받은)을 제안한다.
• 시간-정확도 향상을 위한 학습 선택자와 연합 테스트 중 데이터 분포 기준을 강제하는 테스트 선택자, 두 가지 선택기를 제공한다.
• 실제 FL 워크로드에서 최첨단 방법 대비 개선을 정량화하기 위해 PySyft와 Oort를 통합하고 평가한다.

실험 결과

연구 질문

• RQ1 FL 참가자를 어떻게 선택하면 통계적 유용성과 시스템 속도의 균형을 통해 시간-정확도를 최대화할 수 있을까?
• RQ2 개발자 지정 데이터 분포 기준을 원시 데이터를 노출하지 않고도 대규모로 연합 테스트 중 효율적으로 강제 적용할 수 있는 방법은 무엇인가?
• RQ3 FL에서 훈련과 테스트를 위한 참가자 유틸리티를 추정할 때 프라이버시는 어떻게 보존되는가?
• RQ4 선택 메커니즘이 확장 가능하고 견고하게 유틸리티의 진부성 및 이상치를 처리하는 방법은 무엇인가?
• RQ5 Oort의 접근 방식이 기존 선택 방법에 비해 학습 시간-정확도 및 최종 모델 정확도를 개선할 수 있는가?

주요 결과

• 기존의 연합 학습 선택 방법에 비해 학습 시간-정확도 향상은 1.2x에서 14.1x까지 달성.
• 기본선 대비 최종 모델 정확도 향상은 1.3%에서 9.8%까지 증가.
• 개발자 지정 데이터 분포를 강제할 때 연합 테스트 소요 시간이 평균 약 4.7배 단축.
• Oort가 수백만 명의 클라이언트로 확장되더라도 통계적 성능이 상한에 근접하게 달성됨.
• 프레임워크는 다양 기준(예: 공정성)과 Aggregate/노이즈 유틸리티를 통한 프라이버시를 유지하며, 노이즈 신호에서도 견고한 성능을 보임.