[논문 리뷰] Distributed Learning with Sublinear Communication

Jayadev Acharya, Christopher De외 2명|arXiv (Cornell University)|2019. 02. 28.

Distributed Sensor Networks and Detection Algorithms인용 수 17

한 줄 요약

이 논문은 미러 강하(mirror descent)와 무작위 희소화 및 양자화를 조합하여, 차원에 대해 하향 통신(sublinear communication)을 달성하면서 최적의 초과 위험(excess risk)을 달성하는 분산 학습 알고리즘을 제안한다. 이는 표준 ℓ₁ 또는 ℓ₂ 제약 조건 대신 슈atten-p 노름을 사용하는 완화된 유계성 가정을 통해, 차원에 대해 로그적 의존성으로 통신을 줄일 수 있음을 보여준다. 이는 고차원 학습을 효율적으로 가능하게 한다.

ABSTRACT

In distributed statistical learning, $N$ samples are split across $m$ machines and a learner wishes to use minimal communication to learn as well as if the examples were on a single machine. This model has received substantial interest in machine learning due to its scalability and potential for parallel speedup. However, in high-dimensional settings, where the number examples is smaller than the number of features ("dimension"), the speedup afforded by distributed learning may be overshadowed by the cost of communicating a single example. This paper investigates the following question: When is it possible to learn a $d$-dimensional model in the distributed setting with total communication sublinear in $d$? Starting with a negative result, we show that for learning $\ell_1$-bounded or sparse linear models, no algorithm can obtain optimal error until communication is linear in dimension. Our main result is that that by slightly relaxing the standard boundedness assumptions for linear models, we can obtain distributed algorithms that enjoy optimal error with communication logarithmic in dimension. This result is based on a family of algorithms that combine mirror descent with randomized sparsification/quantization of iterates, and extends to the general stochastic convex optimization model.

연구 동기 및 목표

• 분산 학습에서 차원 d에 대해 통신이 하향일 때 최적의 초과 위험을 달성할 수 있는지 조사한다.
• 특히 N ≪ d 인 경우에 고차원 통신의 실용적 한계를 해결한다.
• 기존 ℓ₁ 또는 ℓ₂로 제약된 모델이 최적 오차를 달성하기 위해 선형 통신이 필요하다는 한계를 극복한다.
• 고차원 환경에서 통신 효율성을 유지하면서 통계적 최적성을 확보하는 알고리즘을 개발한다.
• 선형 모델을 초월하여 일반적인 스토하스틱 볼록 최적화에까지 이 프레임워크를 확장한다.

제안 방법

• 모델 반복값의 랜덤 희소화 및 양자화를 기반으로 한 알고리즘 가족을 제안한다.
• 더 나은 통신-정확도 트레이드오프를 가능하게 하기 위해 정규화로 슈atten-p 노름(‖W‖_{S_p})을 사용한다.
• 마우레이의 희소화 방법을 적용하여 각 반복에서 s ≈ log d개의 좌표로 기울기 또는 모델 파라미터를 압축한다.
• p ≤ 2인 경우 슈atten-p 정규화의 강한 볼록성을 활용하여 수렴 보장을 유지한다.
• 스파르스피케이션 및 양자화에 의해 유도되는 오차를 제어하기 위해 브레그만 발산 분석을 사용한다.
• 브레그만 발산의 기대 이탈을 제어하여 각 반복당 통신 복잡도가 O(log d)임을 확립한다.

실험 결과

연구 질문

• RQ1 차원 d에 대해 통신이 하향일 때 최적의 초과 위험을 달성할 수 있는가?
• RQ2 고차원 환경에서 선형 통신 장벽을 돌파하기 위해 모델 파ram에 대한 어떤 구조적 가정이 필요한가?
• RQ3 완화된 노름 제약 조건 하에서 미러 강하에 있어 희소화 및 양자화를 어떻게 설계하여 통계 정확도를 유지할 수 있는가?
• RQ4 ℓ₁로 제약된 또는 희소 선형 모델에 대해 통신이 d에 대해 로그적일 때 최적 수렴 속도를 달성할 수 있는가?
• RQ5 이 프레임워크는 선형 모델을 초월한 일반적인 스토하스틱 볼록 최적화로 확장될 수 있는가?

주요 결과

• ℓ₁로 제약된 또는 희소 선형 모델의 경우, 최적 오차를 달성하기 위해 하향 통신이 불가피하며, 이는 d에 대해 선형 통신이 필요하다.
• 유계성 가정을 p ≤ 2인 슈atten-p 노름으로 완화함으로써, 최적의 초과 위험을 d에 대해 로그적 의존성으로 통신으로 달성할 수 있다.
• 제안된 알고리즘은 통신 복잡도가 O(log d)일 때 초과 위험 O(√(B₁²R_q²C_q / N))를 달성하며, 이는 중심 집합 ERM 비율과 일치한다.
• 분석 결과, 희소화에 의해 유도되는 기대 브레그만 발산 오차가 s ≈ log d일 때 O(B² / s^{(p-1)/2})로 감소함을 보여준다.
• 적절한 정규화 및 희소화 기법을 사용함으로써 일반적인 스토하스틱 볼록 최적화로의 확장이 가능하다.
• 실험 결과는 알고리즘이 전체 통신 기반 기준 모델과 비교해 통계 성능을 유사하게 유지하면서도 통신을 극적으로 줄임을 시사한다.