[논문 리뷰] Communication Complexity of Distributed Convex Learning and Optimization

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|2015. 06. 05.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 82

한 줄 요약

이 논문은 분산 볼록 최적화에서 기본적인 통신 복잡도 하한을 확립하며, 국소 함수들이 서로 무관할 경우 즉사한 국소 계산이 가능하더라도 많은 통신 라운드가 필요하다는 것을 보여준다. 이는 기존 가속화 방법과 일치하는 날카로운 하한을 증명하며, 국소 함수들이 통계적으로 유사할 경우 통신을 크게 줄일 수 있는 조건을 규명한다.

ABSTRACT

We study the fundamental limits to communication-efficient distributed methods for convex learning and optimization, under different assumptions on the information available to individual machines, and the types of functions considered. We identify cases where existing algorithms are already worst-case optimal, as well as cases where room for further improvement is still possible. Among other things, our results indicate that without similarity between the local objective functions (due to statistical data similarity or otherwise) many communication rounds may be required, even if the machines have unbounded computational power.

연구 동기 및 목표

• 다양한 가정 하에서 분산 볼록 최적화의 통신 효율성에 대한 기본적인 한계를 규명하기 위해.
• 기존의 분산 최적화 알고리즘이 최악의 경우에서 최적이었는지 판단하기 위해.
• 기계 간 데이터 유사성이 알고리즘의 통신 복잡도에 미치는 영향을 분석하기 위해.
• 주어진 정확도를 달성하기 위해 필요한 통신 라운드 수의 날카로운 하한을 유도하기 위해.
• 부드러움, 강한 볼록성, 구조적 가정이 알고리즘 성능에 미치는 영향을 탐구하기 위해.

제안 방법

• 정보 이론적 기법, 특히 상호정보량과 핀스커 부등식을 사용하여 통신 복잡도 하한을 유도한다.
• 국소 목표 함수 간 유사성을 정량화하기 위해 매개변수 δ를 도입하여 관련 및 비관련 케이스를 통합적으로 분석할 수 있도록 한다.
• 하한이 의미 있고 일반화 가능하도록 하기 위해 알고리즘에 구조적 가정을 적용한다.
• 하한 분석을 위한 어려운 사례를 만들기 위해 대칭성을 갖는 랜덤 행렬 구조를 사용한다.
• 전달된 메시지와 국소 함수 매개변수 간의 상호정보량을 분석하여 알고리즘 정확도를 제한한다.
• 가속 기법과 모레우 프락시멀 스무딩을 조합하여 비부드러운 케이스에 대한 잠재적인 최적 알고리즘을 제안한다.

실험 결과

연구 질문

• RQ1 국소 함수들이 서로 무관할 경우, 분산 볼록 최적화를 해결하기 위해 필요한 최소 통신 라운드 수는 얼마인가?
• RQ2 기존의 분산 최적화 알고리즘은 통신 효율성 측면에서 향상될 수 있는가, 아니면 이미 최악의 경우 최적이인가?
• RQ3 통계적 유사성(δ로 정량화됨)이 분산 최적화의 통신 복잡도에 어떤 영향을 미치는가?
• RQ4 가속화된 경사 하강법은 부드럽고 강하게 볼록인 함수에 대해 통신 복잡도 측면에서 최적이인가?
• RQ5 국소 함수들이 비부드럽거나 강하게 볼록하지 않을 경우 통신 효율성의 기본 한계는 무엇인가?

주요 결과

• 서로 다른 국소 목표 함수를 가진 부드럽고 λ-강하게 볼록인 함수의 경우 통신 복잡도는 Ω(√(1/λ) log(1/ε))이며, 이는 가속화된 경사 하강법에 의해 달성된다.
• 서로 다른 목표 함수를 가진 부드러운 볼록 함수의 경우 하한은 Ω(√(1/ε))이며, 이는 날카로우며 가속화 방법에 의해 달성된다.
• 비부드러운 λ-강하게 볼록인 함수의 경우 하한은 Ω(√(1/(λε)))이며, 이는 가속 기법과 프락시멀 스무딩을 조합한 최적 알고리즘이 존재할 수 있음을 시사한다.
• 일반적인 비부드러운 볼록 함수의 경우 하한은 Ω(1/ε)이며, 이는 높은 정확도를 달성하기 위해 많은 통신 라운드가 필요함을 나타낸다.
• 국소 함수들이 관련이 있을 경우(δ-관련), 통신 복잡도는 Ω(√(δ/λ) log(1/ε))로 감소하며, 이 하한은 이차 함수에 대해 DISCO 알고리즘이 상수 배수 이내로 달성한다.
• 무한한 국소 계산이 가능하더라도 비관련 케이스에서는 이러한 하한 이하로 통신 복잡도를 낮출 수 없으며, 이는 기본적인 한계를 보여준다.