[논문 리뷰] On Consensus-Optimality Trade-offs in Collaborative Deep Learning

Zhanhong Jiang, Aditya Balu외 2명|arXiv (Cornell University)|2018. 05. 30.

Distributed Control Multi-Agent Systems참고 문헌 23인용 수 5

한 줄 요약

이 논문은 통신이 제한된 분산 시스템에서 공감과 최적성의 균형을 명시적으로 고려하는 두 가지 새로운 알고리즘인 i-CDSGD와 g-CDSGD를 제안한다. 다수의 공감 단계 또는 조정 가능한 공감 파라미터를 통합함으로써, 이 방법들은 더 빠른 수렴, 감소한 성능 변동성, 그리고 특히 데이터 불균형 상황에서 향상된 공감을 달성하면서 최신 기술 수준의 정확도를 유지한다.

ABSTRACT

In distributed machine learning, where agents collaboratively learn from diverse private data sets, there is a fundamental tension between consensus and optimality. In this paper, we build on recent algorithmic progresses in distributed deep learning to explore various consensus-optimality trade-offs over a fixed communication topology. First, we propose the incremental consensus-based distributed SGD (i-CDSGD) algorithm, which involves multiple consensus steps (where each agent communicates information with its neighbors) within each SGD iteration. Second, we propose the generalized consensus-based distributed SGD (g-CDSGD) algorithm that enables us to navigate the full spectrum from complete consensus (all agents agree) to complete disagreement (each agent converges to individual model parameters). We analytically establish convergence of the proposed algorithms for strongly convex and nonconvex objective functions; we also analyze the momentum variants of the algorithms for the strongly convex case. We support our algorithms via numerical experiments, and demonstrate significant improvements over existing methods for collaborative deep learning.

연구 동기 및 목표

• 통신이 제한된 조건에서 분산 딥 러닝에서 에이전트 간의 합의(consensus)와 전역 최적점 수렴(optimality) 사이의 근본적인 트레이드오프를 다루기.
• FedAvg와 CDSGD와 같은 기존 방법들이 공감을 희생하거나 높은 변동성과 일반화 오차 문제를 겪는 한계를 극복하기.
• 특히 데이터 불균형 상황에서 공감-최적성 트레이드오프를 조절 가능한 제어 기능을 갖춘 알고리즘 설계하기.
• 강력한 볼록 및 비볼록 목표 함수에 대해 수렴성을 이론적으로 입증하기, 동적 모멘타를 포함한 변형도 포함.
• 실험적으로 제안된 방법이 CDSGD 및 최신 기술 수준의 기법들보다 공감, 안정성, 일반화 성능에서 뛰어나며, 특히 데이터 불균형 상황에서 뛰어난 성능을 보임을 입증하기.

제안 방법

• 각 SGD 반복 내에서 이웃 간 소통를 통해 다수의 공감 단계를 수행하는 i-CDSGD를 제안하여 에이전트 간의 합의를 향상시킴.
• 공감과 개인 최적성 사이의 균형을 제어할 수 있는 조정 가능한 파라미터 ω를 사용하는 일반화된 프레임워크인 g-CDSGD를 도입.
• 모든 알고리즘에 모멘타를 통합하여 수렴 속도를 가속화하고 성능 진동을 감소시킴.
• 이론적 분석을 통해 강력한 볼록 및 비볼록 목표 함수 하에서 두 알고리즘의 수렴성을 입증하며, 공감과 최적성에 대한 명시적 경계를 제공.
• 이중 스토하스틱 통신 행렬과 고정된 네트워크 토폴로지 구조를 사용하여 에이전트 간 상호작용을 모델링함으로써 이론적 분석의 타당성을 확보.
• Keras/TensorFlow를 사용하여 알고리즘을 구현하고, 균형 및 비균형 데이터 분할 조건 하에서 5개 에이전트로 구성된 희소 네트워크에서 CIFAR-10 데이터셋을 대상으로 평가.

실험 결과

연구 질문

• RQ1 각 SGD 반복 내에서 다수의 공감 단계를 수행하면 모델 최적성에 영향을 주지 않고도 공감을 향상시킬 수 있는가?
• RQ2 g-CDSGD에서의 조정 가능한 공감 파라미터 ω는 분산 딥 러닝에서 공감과 최적성 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 제안된 알고리즘이 FedAvg 및 CDSGD에 비해 성능 변동성과 일반화 오차를 얼마나 줄이는가?
• RQ4 데이터 불균형은 에이전트 간의 공감에 어떤 영향을 미치며, 제안된 방법은 이 문제를 어떻게 완화할 수 있는가?
• RQ5 모멘타를 통합한 i-CDSGD 및 g-CDSGD의 수렴 행동은 볼록 및 비볼록 손실 함수 모두에서 어떻게 나타나는가?

주요 결과

• i-CDMSGD는 CDSGD와 유사한 전역 정확도를 달성하면서도 에포크 간 성능 변동성이 크게 감소함.
• g-CDMSGD는 최신 기술 수준의 방법들과 유사한 테스트 정확도를 달성하지만, 학습 및 테스트 정확도 간의 일반화 갭이 더 작음.
• 비균형 데이터 상황에서 i-CDMSGD와 g-CDMSGD는 CDSGD보다 공감 성능에서 뛰어나며, 최고와 최악의 에이전트 간 정확도 차이가 최대 50% 감소함.
• g-CDMSGD에서 낮은 ω 값은 공감을 더욱 향상시키지만 수렴 속도가 느려지는 대가가 있음을 통해 조절 가능한 트레이드오프를 입증함.
• 두 알고리즘의 모멘타 변형(i-CDMSGD 및 g-CDMSGD)은 최소한의 진동으로 안정적인 수렴을 보이며, 비모멘타 기반 베이스라인보다 뛰어난 성능을 보임.
• 실험 결과는 이론적 수렴 경계를 확인하였으며, 공감 및 최적성 경계가 스텝 크기 α와 스펙트럼 갭(1−λ₂)에 따라 예측 가능하게 스케일링됨.