[논문 리뷰] Federated Multi-Task Learning

Virginia Smith, Chao-Kai Chiang외 2명|arXiv (Cornell University)|2017. 05. 30.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 115

한 줄 요약

논문은 다중 작업 학습이 연합 데이터의 통계적 이질성을 자연스럽게 다룬다고 주장하며, 지연자/오류를 지원하고 분산 다중 작업 학습에서 높은 통신을 허용하는 시스템 인식 최적화 방법인 Mocha를 도입하고 수렴 보장을 제공합니다.

ABSTRACT

Federated learning poses new statistical and systems challenges in training machine learning models over distributed networks of devices. In this work, we show that multi-task learning is naturally suited to handle the statistical challenges of this setting, and propose a novel systems-aware optimization method, MOCHA, that is robust to practical systems issues. Our method and theory for the first time consider issues of high communication cost, stragglers, and fault tolerance for distributed multi-task learning. The resulting method achieves significant speedups compared to alternatives in the federated setting, as we demonstrate through simulations on real-world federated datasets.

연구 동기 및 목표

• 통계적 이질성과 실용적 시스템 문제로 연합 학습에 동기를 부여합니다.
• 에지 분산 데이터에 적합한 다중 작업 학습 형식을 제안합니다.
• 연합 최적화 알고리즘인 Mocha를 개발하여 지연자와Fault를 다루도록 CoCoA를 확장합니다.
• 현실적인 지연자/Fault 가정하에서 수렴 보장을 제공합니다.
• 실세계 연합 데이터셋에서의 경험적 성능을 입증합니다.

제안 방법

• 작업 관계를 Omega 행렬로 모델링한 일반적인 볼록 다중 작업 학습 문제를 형식화합니다.
• 에지 장치에서 해결 가능한 데이터 현지 부분 문제를 도출하기 위해 CoCoA 프라이멀-듀얼 프레임워크를 확장합니다.
• Mocha를 도입하여 W를 중앙에서 업데이트하고 Alpha를 로컬에서 노드별 하위 문제를 통해 업데이트하는 교대 최적화 방법을 제시합니다.
• 지연자 및 떨어진 노드를 완화하기 위해 theta_t^h를 사용한 로컬 하위 문제의 노드별 유연한 근사화를 허용합니다.
• 스무스성 및 매 반복 근사 매개변수에 대한 가정 하에서 듀얼 기반의 수렴 분석을 제공합니다.
• 실세계 연합 데이터 세트에 대한 시뮬레이션을 통해 통신 비용, 이질성, 노드 dropout에 대한 강건성을 시연합니다.

실험 결과

연구 질문

• RQ1 비 IID, 비균형 분산 데이터에서 연합 다중 작업 학습이 글로벌 또는 로컬 모델에 비해 성능을 향상시킬 수 있는가?
• RQ2 다중 작업 학습 objective를 풀면서 지연자와 fault-tolerance를 다루도록 분산 최적화 방법을 설계할 수 있는가?
• RQ3 현실적인 시스템 제약 하에서 연합 다중 작업 프레임워크에 대한 수렴 보장은 무엇인가?

주요 결과

모델	인간 활동	구글 글래스	차량 센서
Global	2.23 (0.30)	5.34 (0.26)	13.4 (0.26)
Local	1.34 (0.21)	4.92 (0.26)	7.81 (0.13)
MTL	0.46 (0.11)	2.02 (0.15)	6.59 (0.21)

• MTL은 실제 연합 데이터 세트(Human Activity, Google Glass, Vehicle Sensor)에서 글로벌 및 로컬 베이스라인보다 상당히 우수한 성능을 보입니다.
• Mocha는 높은 통신 비용과 통계적 이질성에 대해 강건성을 달성하며 지연자 시나리오에서 CoCoA보다 더 우수한 성능을 보입니다.
• Mocha는 노드가 중단돼도 수렴하며 완만한 지연자/fault 가정하에서도 수렴성을 유지합니다.
• 수렴 정리는 현실적인 가정 하에서 매끄러운 손실 함수와 비매끄러운 손실 함수에 대해 한정된 시간과 서브선형 속도를 보입니다.
• 실험 결과 Mocha가 네트워크 이질성에 따라 확장되며 노드 dropout에서도 성능을 유지함을 보여줍니다.