[논문 리뷰] Acceleration in Distributed Optimization under Similarity

Ye Tian, Gesualdo Scutari외 2명|arXiv (Cornell University)|2021. 10. 24.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 유사한 국소 손실 함수를 가진 에이전트 네트워크를 위한 전치(preconditioned), 가속화된 분산 최적화 알고리즘을 제안한다. 헤시안 기반 전치를 통해 함수 유사성을 활용함으로써, 기존 가속화된 방법에 비해 통신 비용을 크게 감소시키며, $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$의 통신 복잡도를 달성한다. 이는 로그 요소를 제외한 하한값과 일치하며, 특히 조건 수가 큰 악조건 문제에서 뛰어난 성능을 발휘한다.

ABSTRACT

We study distributed (strongly convex) optimization problems over a network of agents, with no centralized nodes. The loss functions of the agents are assumed to be extit{similar}, due to statistical data similarity or otherwise. In order to reduce the number of communications to reach a solution accuracy, we proposed a {\it preconditioned, accelerated} distributed method. An $\varepsilon$-solution is achieved in $ ilde{\mathcal{O}}\big(\sqrt{\frac{β/μ}{1-ρ}}\log1/\varepsilon\big)$ number of communications steps, where $β/μ$ is the relative condition number between the global and local loss functions, and $ρ$ characterizes the connectivity of the network. This rate matches (up to poly-log factors) lower complexity communication bounds of distributed gossip-algorithms applied to the class of problems of interest. Numerical results show significant communication savings with respect to existing accelerated distributed schemes, especially when solving ill-conditioned problems.

연구 동기 및 목표

• 분산 최적화에서 높은 통신 비용, 특히 조건 수 $\kappa$가 큰 악조건 문제에서의 비용을 해결하기 위해.
• 중앙집중식 가속 알고리즘(통신 단계 수가 $\tilde{\mathcal{O}}(1 + \sqrt{\beta/\mu})$임)과 분산 메쉬 네트워크 간의 격차를 해소하기 위해, 기존에 증명되지 않은 속도를 달성하기 위해.
• 함수 유사성 하에 이론적 통신 복잡도 하한에 도달하는 분산, 전치, 가속 알고리즘을 설계하기 위해.
• 통신 복잡도가 $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$로 선형 수렴하도록 하되, $\beta/\mu$는 상대적 유사성을 측정하고 $\rho$는 네트워크 연결성을 반영한다.

제안 방법

• Inexact ACC-SONATA-F를 제안하며, 이는 SONATA 프레임워크의 비정확한 변형을 가속화 및 전치와 결합한 분산 알고리즘이다.
• 국소 헤시안과 전역 헤시안의 편차를 제한하는 $\beta$를 바탕으로 한 전치자 사용으로, 업데이트 단계를 적응적으로 조정한다.
• 이중 루프 구조를 활용: 외부 루프는 전역 가속화를 위해, 내부 루프는 비정확한 기울기를 사용한 하위문제를 풀기 위해이며, 종료 조건을 통해 제어된다.
• 진전을 추적하고 수렴성을 보장하기 위해 오차 감쇠를 제어하는 리아푸노프 함수 $g^k + e^k$를 도입한다.
• 네트워크 연결성 $\rho$와 유사성 $\beta/\mu$를 활용하여, 오차 항의 기하급수적 감쇠와 텔레스코프적 부등식을 통해 통신 복잡도의 상한을 유도한다.
• 내부 루프 종료 조건 $g^{k,T} + e^{k,T} \leq \epsilon^{k+1}$이 $\mathcal{O}(\log \frac{\beta}{\mu})$ 단계 내에 만족됨을 증명하여 전체 알고리즘이 통신 효율성을 유지함을 보장한다.

실험 결과

연구 질문

• RQ1 메쉬 네트워크 상의 분산 알고리즘이 $\tilde{\mathcal{O}}(1 + \sqrt{\beta/\mu})$의 통신 복잡도 스케일링을 달성할 수 있는가? 이는 최고의 중앙집중식 가속화 방법과 일치한다.
• RQ2 헤시안 편차 $\beta$로 측정되는 함수 유사성을 활용하면, 악조건 문제에서 통신 비용을 크게 절감할 수 있는가?
• RQ3 분산, 탈중앙화 환경에서 전치와 가속화를 결합하여 통신 복잡도 하한에 도달할 수 있는가?
• RQ4 함수 유사성이 존재할 때 네트워크 연결성 $\rho$는 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$의 통신 복잡도를 달성하며, 기존 분산 가송 알고리즘의 알려진 하한값과 로그 요소를 제외하고 일치한다.
• 통신 복잡도는 $\sqrt{\kappa}$가 아닌 $\sqrt{\beta/\mu}$에 의존하므로, $\kappa$가 크지만 $\beta/\mu$가 작은 악조건 문제에서 뚜렷한 통신 절감 효과를 발휘한다.
• 수치적 결과는 기존 가속화된 분산 방법에 비해 상당한 통신 절감 효과를 확인하였으며, 특히 $\beta/\mu \ll \kappa$일 경우 두드러진다.
• 알고리즘의 내부 루프는 $\mathcal{O}(\log \frac{\beta}{\mu})$ 단계 내에 종료되며, 이는 전체 알고리즘이 통신 효율성을 유지함을 보장한다.
• 독립 동일분포(i.i.d.) 데이터를 가진 분산 ERM 문제에 적용 가능하며, 이 경우 $\beta = \tilde{O}(1/\sqrt{n})$ w.h.p.이므로 $\beta/\mu = \mathcal{O}(\sqrt{m})$가 되어 확장성 향상에 기여한다.
• 네트워크 연결성 $\rho$에 대해 수렴 속도가 강건하며, 상한이 $1/(1 - \rho)$로 스케일링되며, 이는 네트워크 구조가 통신 효율성에 미치는 영향을 반영한다.