[논문 리뷰] COLA: Decentralized Linear Learning

Lie He, An Bian외 1명|arXiv (Cornell University)|2018. 08. 13.

Privacy-Preserving Technologies in Data인용 수 43

한 줄 요약

COLA는 임의의 네트워크에서 기계 학습을 수행하는 일반화 선형 모델을 온-디바이스로 완전히 분산화된 프레임워크이며, 수렴 보장, 통신 효율성, 토폴로지 변화 및 노드 가용성에 대한 회복력을 제공합니다.

ABSTRACT

Decentralized machine learning is a promising emerging paradigm in view of global challenges of data ownership and privacy. We consider learning of linear classification and regression models, in the setting where the training data is decentralized over many user devices, and the learning algorithm must run on-device, on an arbitrary communication network, without a central coordinator. We propose COLA, a new decentralized training algorithm with strong theoretical guarantees and superior practical performance. Our framework overcomes many limitations of existing methods, and achieves communication efficiency, scalability, elasticity as well as resilience to changes in data and participating devices.

연구 동기 및 목표

• 데이터 소유권과 프라이버시를 보호하면서 분산 기기에서의 공동 학습을 가능하게 하기 위한 분산 학습의 동기를 부여한다.
• 수렴 보장을 갖춘 일반화 선형 모델을 위한 분산 알고리즘을 개발한다.
• 동적 네트워크 토폴로지와 데이터 변화에 대한 통신 효율성, 확장성, 회복력을 보장한다.
• 중앙 집중식 CoCoA 아이디어를 완전히 분산된 설정으로 연결하기 위해 원시-이중(프라이멀-듀얼) 기법을 활용한다.
• 분산 배치에서 학습 진행 상황을 모니터링하기 위한 실용적 진단 및 인증서를 제공한다.

제안 방법

• 분산 최적화에 적합한 원시형과 이중형으로 학습 문제를 형식화한다(A) 및(B).
• 각 노드에서 부분적으로 해를 구하는 로컬 데이터-로컬 하위 문제(Theta-근사화)를 도입한다.
• 공유 상태의 로컬 추정 벡터 v_k와 중앙 코디네이터 없이 정보를 교환하기 위한 수다(gossip)형 혼합 행렬 W를 사용한다.
• 로컬 데이터 A_[k] 및 이웃 v_l 항에 의존하는 로컬 하위 문제 G_k^sigma'를 정의한다(식(2)).
• 진전을 보장하기 위해 v_k 업데이트와 글로벌 집계 매개변수 gamma를 통해 업데이트를 집계한다.
• 수렴 보장을 확립한다: 강하게 볼록한 목적함수에 대해서는 선형 수렴률, 일반 볼록함수에 대해서는 준선형 수렴률을 데이터 의존 상수 및 지역 이중성 인증서와 함께 제시한다.

실험 결과

연구 질문

• RQ1 분산 최적화가 장치 간 i.i.d. 데이터 가정을 두지 않고도 중앙 집중 방식과 비교할 만한 수렴 보장을 달성할 수 있는가?
• RQ2 변하는 네트워크와 데이터 분포를 허용하는 통신 효율적이고 탄력적이며 내결함 있는 분산 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 완전한 분산 설정에서 강한 볼록성과 일반 볼록성 하에서 어떤 수렴 속도(선형 대 준선형)가 증명될 수 있는가?
• RQ4 중앙 코디네이터 없이 로컬에서 학습 진행을 모니터링하는 방법(로컬 인증서)은 무엇인가?

주요 결과

• CoLa는 강하게 볼록한 구성요소에 대해 선형 수렴을 달성하고 일반 볼록 목적에 대해서는 준선형 수렴을 달성한다.
• 토폴로지 변화, 노드 이탈 및 데이터/파티션 변화에 견디며 매개변수 튜닝이 필요 없다.
• CoLa는 DIGing 및 D-ADMM과 같은 분산 기준선에 비해 통신 라운드 및 시간에서 우수한 성능을 보인다.
• 로컬 인증서를 통해 글로벌 동기화나 중앙 집계 없이도 진행 상황을 진단할 수 있다.
• 이 방법은 시간 가변 그래프를 지원하고 추가적인 2차 하위 문제를 이용한 개선으로 이익을 얻을 수 있다.