[논문 리뷰] AIDE: Fast and Communication Efficient Distributed Optimization

Sashank J. Reddi, Jakub Konečný외 3명|arXiv (Cornell University)|2016. 08. 24.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 110

한 줄 요약

이 논문은 INEXACTDANE과 그 가속 버전 AIDE를 분산 경험적 위험 최소화에 도입하여, 첫 차례 오라클 방법들로도 견고하고 통신 효율적인 수렴을 달성하고, 핵심 설정에서 거의 최적에 가까운 하한을 보인다.

ABSTRACT

In this paper, we present two new communication-efficient methods for distributed minimization of an average of functions. The first algorithm is an inexact variant of the DANE algorithm that allows any local algorithm to return an approximate solution to a local subproblem. We show that such a strategy does not affect the theoretical guarantees of DANE significantly. In fact, our approach can be viewed as a robustification strategy since the method is substantially better behaved than DANE on data partition arising in practice. It is well known that DANE algorithm does not match the communication complexity lower bounds. To bridge this gap, we propose an accelerated variant of the first method, called AIDE, that not only matches the communication lower bounds but can also be implemented using a purely first-order oracle. Our empirical results show that AIDE is superior to other communication efficient algorithms in settings that naturally arise in machine learning applications.

연구 동기 및 목표

• 분산 데이터 설정에서 함수의 평균을 최소화하기 위한 통신 효율적인 분산 최적화 방법을 개발한다.
• 실용적인 데이터 분할에 견고하게 남아 있는 INEXACTDANE의 근사 변형을 제안한다.
• 첫 차례 오라클 접근으로 통신 하한에 대응하는 가속 버전(AIDE)을 만든다.
• 이차형, 강하게 볼록, 약하게 볼록, 비볼록 영역에서의 이론적 수렴 보장을 제공한다.
• COCOA+에 비한 경험적 이점을 보여주고 분산 SVRG 구현과의 관련성을 논의한다.

제안 방법

• DANE 내에서 로컬 하위 문제를 가까이 근사해 해결하도록 하여 INEXACTDANE을 도입하고, 불완전도 매개변수 γ로 제어한다.
• 이차형, 강하게 볼록, 약하게 볼록, 비볼록 케이스에 대해 INEXACTDANE을 분석하여 수렴 보장을 얻는다.
• Catalyst 유사한 스킴을 INEXACTDANE에 적용하는 가속 버전 AIDE를 제안하여 거의 최적에 가까운 통신 복잡도에 도달한다.
• 적절한 매개변수 선택으로 AIDE가 1차 오로클만 사용하여 하한(로그 인자까지)을 거의 따라잡는지 보여준다.
• 분산 SVRG와의 연결 및 SVRG 및 SDCA와 같은 로컬 솔버를 사용한 실용적 구현 측면을 논의한다.

실험 결과

연구 질문

• RQ1 데이터가 K대의 머신으로 분할될 때 분산 ERM의 통신 라운드를 어떻게 감소시킬 수 있는가?
• RQ2 DANE 내의 비정확한 로컬 솔버가 수렴 보장을 유지하고 데이터 분할에 대한 강건성을 개선할 수 있는가?
• RQ3 실용적인 1차 오라클 접근 하에서 가속(AIDE)이 거의 최적의 통신 복잡성을 달성하는가?
• RQ4 이차형, 강하게 볼록, 약하게 볼록, 비볼록 목적함수에서 INEXACTDANE와 AIDE의 수렴 보장은 무엇인가?
• RQ5 이 방법들이 COCOA+와 비교했을 때 실험적으로 어떤 차이가 있으며 실무적으로 분산 SVRG와 어떤 관계가 있는가?

주요 결과

• 약한 로컬 해를 허용한 INEXACTDANE은 분할에 대한 강건성을 높이면서도 주요 보장을 희생하지 않는 수렴 특성을 보인다.
• δ 관련 이차형 Fk에 대해, INEXACTDANE은 적절한 매개변수 선택과 근사도 수준에서 선형에 가까운 수렴을 달성한다.
• AIDE는 INEXACTDANE의 가속 버전으로, 1차 정보만 사용하여 이차 δ 관련 설정에서 통신 하한(로그 요인까지)과 거의 맞먹는 것을 보여준다.
• 강하게 볼록한 설정에서, AIDE는 (L/λ) log(1/ϵ) 의 반복 복잡도와 하한에 상응하는 통신 보장을 달성한다.
• 약하게 볼록 및 비볼록의 경우, INEXACTDANE와 AIDE는 적절한 섭동과 매개변수 선택으로 수렴 행동이 문서화된다.
• 실험적 결과는 AIDE가 이진 분류 데이터셋에서 DANE 및 COCOA+보다 우수한 성능을 보이며, 더 높은 조건수 및 다양한 로컬 계산 하에서 특히 그렇다.