[논문 리뷰] One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them

Saber Salehkaleybar, Arsalan Sharifnassab외 1명|arXiv (Cornell University)|2019. 05. 12.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 6

한 줄 요약

이 논문은 통신 제약 조건이 깐깐한 상황에서 순차적(federated) 학습을 위한 다중 해상도 추정기(Multi-Resolution Estimator, MRE)를 소개한다. 이는 통신 비용이 낮은 조건에서도 순서적으로 최적의 추정을 가능하게 한다. 추정 오차에 대한 날카로운 하한을 확립하고, $ B \geq \log mn $ 일 때 MRE가 이 하한에 다항로그 인자 이내로 도달함을 증명한다. $ m \to \infty $ 일 때 오차는 $ n $ 이나 상수여도 0으로 수렴하므로, 대규모이면서 데이터가 부족한 환경에 매우 적합하다.

ABSTRACT

We consider distributed statistical optimization in one-shot setting, where there are $m$ machines each observing $n$ i.i.d. samples. Based on its observed samples, each machine sends a $B$-bit-long message to a server. The server then collects messages from all machines, and estimates a parameter that minimizes an expected convex loss function. We investigate the impact of communication constraint, $B$, on the expected error and derive a tight lower bound on the error achievable by any algorithm. We then propose an estimator, which we call Multi-Resolution Estimator (MRE), whose expected error (when $B\ge\log mn$) meets the aforementioned lower bound up to poly-logarithmic factors, and is thereby order optimal. We also address the problem of learning under tiny communication budget, and present lower and upper error bounds when $B$ is a constant. The expected error of MRE, unlike existing algorithms, tends to zero as the number of machines ($m$) goes to infinity, even when the number of samples per machine ($n$) remains upper bounded by a constant. This property of the MRE algorithm makes it applicable in new machine learning paradigms where $m$ is much larger than $n$.

연구 동기 및 목표

• 일회성(federated) 학습에서 통신 제약 조건 하에 추정 오차의 기본 이론적 한계를 규명하는 것.
• 이 이론적 한계에 다항로그 인자 이내로 도달하는 알고리즘을 설계하는 것.
• 기계 수 $ m $ 이 많고, 각 기계의 샘플 수 $ n $ 이 적을 때의 분산 학습 성능을 분석하는 것.
• 중간 수준에서 매우 낮은 통신 예산($ B $ 가 상수)에 대해 추정 오차의 날카로운 상한과 하한을 유도하는 것.

제안 방법

• 지역 경험 최소화자(empirical minimizers)를 계층적 양자화 방식으로 인코딩하여, 제한된 비트 수에서도 통계 정확도를 유지하는 다중 해상도 추정기(MRE)를 제안한다.
• 함수 색인에 대한 확률 분포를 변형하는 방식을 기반으로 한 최소최대(minimax) 분석을 통해 추정 오차에 대한 날카로운 하한을 유도한다.
• 각 기계가 구성 요소를 베르누이 표본 추출을 통해 $ d $-비트 이진 문자열로 표현하는 랜덤 신호 전송 방식을 사용한다.
• 집중 불등식과 일阶 도함수의 스무스함 가정을 적용하여 추정 오차를 $ m $, $ n $, $ B $ 로 표현하는 경계를 설정한다.
• 모순과 민감도 분석을 통해 확률 벡터 위의 이산 최적화 문제로의 감소를 활용하여 하한을 증명한다.
• 서버의 최종 추정치의 편향과 분산을 분석하여, 랜덤 신호 전송 방식의 오차 경계가 $ O(d/m + d/n) $ 임을 확립한다.

실험 결과

연구 질문

• RQ1 주어진 통신 예산 $ B $ 에서 일회성(federated) 학습에서 추정 오차의 기본 한계는 무엇인가?
• RQ2 $ B \geq \log mn $ 일 때, 알고리즘이 이 하한에 다항로그 인자 이내로 도달할 수 있는가?
• RQ3 $ m \to \infty $ 이고 $ n $ 이 유한할 때 추정 오차는 어떻게 행동하는가? 특히 $ B $ 가 상수일 경우 어떻게 되는가?
• RQ4 각 기계가 몇 개의 샘플만을 가질 때도 낮은 오차를 유지하는 통신 효율적인 추정기가 존재하는가?
• RQ5 제한된 통신 조건 하에서 MRE의 성능은 기존 방법과 비교해 편향, 분산, 수렴 속도 측면에서 어떻게 되는가?

주요 결과

• 논문은 추정 오차에 대한 날카로운 하한을 확립한다: $ \tilde{\Theta}\left(\max\left(n^{-1/2}(mB)^{-1/d}, (mn)^{-1/2}\right)\right) $, 조건은 $ B \geq d\log mn $.
• MRE 추정기는 이 하한에 다항로그 인자 이내로 도달하므로, 중간 수준의 통신 예산 하에서 순서적으로 최적임을 입증한다.
• 통신 예산 $ B $ 가 상수일 경우, 오차에 대한 일치하는 상한과 하한을 도출하였으며, $ m $ 과 $ n $ 이 동시에 증가하면 오차를 임의로 작게 만들 수 있음을 보였다.
• 이전 방법들과 달리, MRE의 오차는 $ n $ 이 유한하더라도 $ m \to \infty $ 일 때 0으로 수렴하므로, 대규모이면서 데이터가 부족한 환경에서의 확장성이 보장된다.
• 랜덤 신호 전송 방식은 $ O(d/m + d/n) $ 의 오차를 달성하며, 주어진 가정과 양자화 모델 하에서 최적임을 입증하였다.
• 이론적 분석을 통해 MRE 알고리즘이 일阶 도함수의 리프시츠 연속성만을 가정하므로, 비스무스한 손실 곡면에 대해서도 강건함을 확인하였다.