[논문 리뷰] COLA: Communication-Efficient Decentralized Linear Learning

Lie He, An Bian외 1명|arXiv (Cornell University)|2018. 01. 01.

Privacy-Preserving Technologies in Data인용 수 1

한 줄 요약

COLA는 중앙 조율자가 없는 분산 환경에서 통신 효율적이고 탈중앙화된 선형 모델 훈련을 위한 알고리즘을 제안하며, 국지적 업데이트와 적응형 통신을 활용하여 확장성과 내성성을 달성한다. 동적인 분산 네트워크에서 기존 방법보다 수렴 속도와 통신 효율성이 뛰어나다.

ABSTRACT

Decentralized machine learning is a promising emerging paradigm in view of global challenges of data ownership and privacy. We consider learning of linear classification and regression models, in the setting where the training data is decentralized over many user devices, and the learning algorithm must run on-device, on an arbitrary communication network, without a central coordinator. We propose COLA, a new decentralized training algorithm with strong theoretical guarantees and superior practical performance. Our framework overcomes many limitations of existing methods, and achieves communication efficiency, scalability, elasticity as well as resilience to changes in data and participating devices.

연구 동기 및 목표

• 엄격한 데이터 개인정보 보호 및 소유 제약 조건이 존재하는 환경에서의 탈중앙화 머신 러닝 도전 과제를 해결한다.
• 임의의 통신 네트워크에서 중앙 조율자가 없는 탈중앙화 훈련 알고리즘을 설계한다.
• 동적인 실세계 환경에서 강력한 수렴 보장을 유지하면서도 높은 통신 효율성을 달성한다.
• 탈중앙화 학습 시스템에서 기기 및 데이터 분포 변화에 대한 확장성과 내성성을 확보한다.

제안 방법

• COLA는 이중 상승 및 공감 기반 업데이트에 기반한 탈중앙화 최적화 프레임워크를 사용하여 기기 간 선형 모델을 훈련한다.
• 통신 오버헤드를 줄이기 위해 주기적인 동기화를 포함한 국지적 모델 업데이트를 적용한다.
• 알고리즘은 국지적 진전과 네트워크 조건에 따라 통신 빈도를 동적으로 조정한다.
• 전역 최적화를 국지 계산에서 분리하기 위해 이중 분해 접근법을 통합하여 중앙 제어 없이도 조율가능성을 확보한다.
• 데이터 분포와 네트워크 연결성에 대한 온건한 가정 하에 최적의 해로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 중앙 조율자가 없는 환경에서 선형 모델을 어떻게 효율적으로 훈련할 수 있는가?
• RQ2 동적인 네트워크에서 수렴 보장을 유지하면서도 높은 통신 효율성을 달성할 수 있는 통신 전략은 무엇인가?
• RQ3 실세계의 탈중앙화 시스템에서 흔한 기기 및 데이터 분포 변화에 대해 알고리즘이 어떻게 성능을 유지하는가?
• RQ4 계산 및 통신 능력이 상이한 대규모 기기 수에 대해 프레임워크가 어떻게 확장 가능한가?

주요 결과

• 동일한 통신 예산 하에서 기존의 탈중앙화 알고리즘보다 COLA가 더 빠른 수렴 속도를 달성한다.
• 알고리즘은 탈중앙화 환경에서 기기 장애 및 동적인 데이터 분포에 대해 강력한 내성성을 보여준다.
• 통신 효율성이 크게 향상되어 수렴에 필요한 통신 라운드 수가 감소한다.
• 이질적인 데이터 및 네트워크 조건에서도 대규모 기기 수에 대해 효과적으로 확장되며 성능 유지를 유지한다.