[논문 리뷰] Asynchronous decentralized accelerated stochastic gradient descent

Guanghui Lan, Yi Zhou|arXiv (Cornell University)|2018. 09. 24.

Distributed Control Multi-Agent Systems참고 문헌 22인용 수 7

한 줄 요약

이 논문은 일반적인 볼록 문제에 대해 최적의 통신 및 샘플링 복잡도를 달성하는 이방향 비동기 분산 가속 확률적 경사 하강법(ADPD)을 제안한다. 이중 랜덤화된 원본-이중대칭 프레임워크와 비동기적 에이전트 활성화를 사용함으로써, 일반적인 볼록 문제에 대해 $Ø(1/\epsilon)$의 통신 복잡도와 $Ø(1/\epsilon^2)$의 샘플링 복잡도를 달성하며, 강한 볼록 문제에 대해서는 각각 $Ø(1/\sqrt{\epsilon})$과 $Ø(1/\epsilon)$을 달성한다.

ABSTRACT

In this work, we introduce an asynchronous decentralized accelerated stochastic gradient descent type of method for decentralized stochastic optimization, considering communication and synchronization are the major bottlenecks. We establish $\mathcal{O}(1/ε)$ (resp., $\mathcal{O}(1/\sqrtε)$) communication complexity and $\mathcal{O}(1/ε^2)$ (resp., $\mathcal{O}(1/ε)$) sampling complexity for solving general convex (resp., strongly convex) problems.

연구 동기 및 목표

• 대규모 네트워크에서의 통신 및 처리 지연으로 인한 동기 분산 최적화의 비효율성을 해결한다.
• 전역 동기화가 필요 없이도 최적의 수렴 속도를 유지하는 비동기 알고리즘을 개발한다.
• 정확한 기울기 또는 가속 기법이 부족한 기존 비동기 확률적 방법의 한계를 극복한다.
• 일관된 매끄럽기 및 곡률 조건 하에 일반 볼록 및 강한 볼록 문제에 대해 최적의 통신 및 샘플링 복잡도를 달성한다.
• 기존의 동기 통신 효율적 방법을 비동기 환경으로 확장하면서도 최적의 복잡도 한계를 유지한다.

제안 방법

• 각 반복에서 두 에이전트를 무작위로 활성화하여 동기화 오버헤드를 줄이는 이방향 분산 원본-이중대칭(ADPD) 방법을 제안한다.
• 활성화된 에이전트와 그 이웃 간에 각 반복에 대해 두 번의 통신 라운드를 수행하는 이중 랜덤화 기법을 사용한다.
• 효율적인 이중 변수 갱신을 가능하게 하기 위해 분산 문제의 원본-이중대칭 최적화 공식을 도입한다.
• 네스테로프 유형의 가속 기법에서 유도된 적응형 스텝 사이즈와 모멘타 유사 매개변수를 사용하여 수렴 속도를 가속화한다.
• 스트리밍 또는 온라인 데이터에 적합한 노이즈가 있는 기울기 정보를 처리하는 확률적 하향 기울기 오라클을 설계한다.
• 원본 최적성 갭과 탇합성 잔여항을 모두 추적하는 리아푸노프 함수 분석을 통해 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 비동기 분산 알고리즘이 최고의 알려진 동기 방법과 동일한 최적의 통신 및 샘플링 복잡도를 달성할 수 있는가?
• RQ2 기울기가 확률적이고 통신이 비동기적일 때, 무작위 에이전트 활성화가 수렴에 어떤 영향을 미치는가?
• RQ3 중앙집중적 확률적 최적화에서의 가속 기법을 노이즈가 있는 기울기 조건 하에 비동기 분산 환경으로 적응시킬 수 있는가?
• RQ4 네트워크 구조와 에이전트 이질성이 비동기 업데이트 하에서 수렴에 어떤 영향을 미치는가?
• RQ5 목적 함수가 일반화된 매끄럽기 및 곡률 조건 (2)를 만족할 경우, 제안된 방법이 여전히 최적의 복잡도 한계를 유지하는가?

주요 결과

• ADPD 방법은 일반 볼록 문제에 대해 $Ø(1/\epsilon)$의 통신 복잡도와 $Ø(1/\epsilon^2)$의 샘플링 복잡도를 달성한다.
• 강한 볼록 문제에 대해서는 $Ø(1/\sqrt{\epsilon})$의 통신 복잡도와 $Ø(1/\epsilon)$의 샘플링 복잡도를 달성한다.
• 비동기성에도 불구하고, 동기 통신 효율적 방법에서 알려진 최고의 복잡도 한계와 동일한 수렴 속도를 확보한다.
• 노이즈가 있는 기울기 정보에 대해 강건하며 정확한 하향 기울기 정보가 필요 없어 온라인 및 스트리밍 데이터에 적합하다.
• 이론적 분석을 통해 일반화된 매끄럽기 및 곡률 조건 (2) 하에서 거의 확실하게 최적의 해로 수렴함을 확인한다.
• 에이전트가 비동기적으로 활성화되고 통신이 이웃 간에 국한되어 있어도 최적의 복잡도를 유지한다.