[논문 리뷰] Order Optimal One-Shot Distributed Learning

Arsalan Sharifnassab, Saber Salehkaleybar외 1명|arXiv (Cornell University)|2019. 11. 02.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 통신 효율적인 one-shot 분산학습 알고리즘인 다중 해상도 추정기(Multi-Resolution Estimator, MRE)를 제안한다. 이 알고리즘은 각 기계당 $O(\log(mn))$비트 메시지를 사용하여 $\tilde{O}\big{(}m^{-1/\max(d,2)}n^{-1/2}\big{)}$의 순서 최적의 추정 오차를 달성한다. 기존 방법들과 달리 MRE의 오차는 $m \to \infty$가 되어도 $n$이 유한할 경우에도 사라지며, 페더레이티드 러닝과 같은 대규모이면서 데이터가 부족한 환경에 적합하다.

ABSTRACT

We consider distributed statistical optimization in one-shot setting, where there are $m$ machines each observing $n$ i.i.d. samples. Based on its observed samples, each machine then sends an $O(\log(mn))$-length message to a server, at which a parameter minimizing an expected loss is to be estimated. We propose an algorithm called Multi-Resolution Estimator (MRE) whose expected error is no larger than $ ilde{O}\big(m^{-{1}/{\max(d,2)}} n^{-1/2}\big)$, where $d$ is the dimension of the parameter space. This error bound meets existing lower bounds up to poly-logarithmic factors, and is thereby order optimal. The expected error of MRE, unlike existing algorithms, tends to zero as the number of machines ($m$) goes to infinity, even when the number of samples per machine ($n$) remains upper bounded by a constant. This property of the MRE algorithm makes it applicable in new machine learning paradigms where $m$ is much larger than $n$.

연구 동기 및 목표

• 기계 수 $m$이 증가함에 따라 낮은 추정 오차를 유지하는 통신 효율적인 one-shot 분산학습 알고리즘을 설계하는 것.
• 엄격한 통신 제약 조건 하에서 분산 통계 최적화에서 순서 최적의 오차 성능을 달성하는 것.
• 페더레이티드 러닝과 같이 $m \gg n$인 경우에 효과적인 학습을 가능하게 하기 위해, $n$이 일정할 때도 오차가 $m$에 따라 감소하도록 보장하는 방법을 개발하는 것.
• 기존 알려진 하한값에 다항로그 요소까지 일치하는 이론적 최적성(optimality)을 확립하기 위해, 알려진 하한값에 다항로그 요소까지 일치하는 방법을 개발하는 것.

제안 방법

• 다중 해상도 수준에서 국소 추정치를 집계하기 위한 계층적 인코딩 체계를 사용하는 다중 해상도 추정기(Multi-Resolution Estimator, MRE)를 제안한다.
• 각 기계의 국소 경험 최소화자를 해상도에 따라 달라지는 코드를 사용해 $O(\log(mn))$비트로 압축하는 양자화 전략을 적용한다.
• 서버에서 다중 해상도 수준의 추정치를 가중 평균을 통해 조합하여 분산과 편향을 감소시킨다.
• 손실 함수의 부드러움과 볼록성의 구조를 활용하여 수렴성과 오차 제어를 보장한다.
• 테일러 급수 기반의 근사 프레임워크를 사용하여 국소 기울기와 헤시안 정보로부터 전역 손실 함수를 모델링한다.
• 다양한 해상도 수준에서의 편향-분산 트레이드오프를 분석하여 추정 오차의 이론적 한계를 유도한다.

실험 결과

연구 질문

• RQ1 고정된 $n$일 때도 기계 수 $m$이 증가함에 따라 오차가 감소하는 one-shot 분산학습 알고리즘이 가능할 수 있는가?
• RQ2 메시지당 $O(\log(mn))$비트의 통신 효율성을 갖는 알고리즘을 설계하여, 중심 집중식 오차율에 다항로그 요소까지 일치시킬 수 있는가?
• RQ3 one-shot 분산 최적화에서 통신 비용과 추정 정확도 사이의 근본적 트레이드오프는 무엇인가?
• RQ4 제안된 방법의 성능은 차원 $d$, $m$, $n$에 대해 어떻게 스케일링되는가?

주요 결과

• MRE 알고리즘은 $\tilde{O}\big{(}m^{-1/\max(d,2)}n^{-1/2}\big{)}$의 기대 오차를 달성하며, 기존 하한값에 다항로그 요소까지 일치하여 순서 최적성(order optimality)을 입증한다.
• 기존 방법들과 달리 MRE의 오차는 $n$이 유한하더라도 $m \to \infty$가 되면 0으로 수렴하므로, 대규모 기계 수, 낮은 데이터 환경에서의 확장성이 보장된다.
• 메시지당 1비트 버전의 경우, 기대 오차는 $\tilde{O}\big{(}m^{-1/2} + n^{-1/2}\big{)}$ 이하로 제한되며, 극한의 통신 제약 조건 하에서도 효과적이다.
• 기존의 평균화 및 부트스트랩 기법보다 고-$m$ 환경에서 성능이 뛰어나며, $m$이 증가함에 따라 오차가 0에서 멀리 떨어져 있는 상태를 유지하는 기존 방법들과는 대조된다.
• 이론적 분석을 통해 MRE의 오차 한계가 날카롭고, 통신 비용을 줄이거나 부드러움 가정을 완화하지 않는 한 향상될 수 없다는 것이 확인되었다.