[논문 리뷰] Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization

Yujie Tang, Junshan Zhang외 1명|arXiv (Cornell University)|2019. 08. 29.

Distributed Control Multi-Agent Systems참고 문헌 43인용 수 7

한 줄 요약

이 논문은 비볼록 다중 에이전트 최적화를 위한 두 가지 분산 제로오더 알고리즘을 제안한다: 하나는 분산 경사하강법(DGD)을 사용하는 2점 기울기 추정기와 함께, 다른 하나는 기울기 추적을 사용하는 2d점 추정기와 함께. 핵심 기여는 비볼록 스무스하고 기울기 지배적인 설정에서 이전의 분산 제로오더 방법보다 더 빠른 수렴 속도를 확립한 것이다. 구체적으로, 2점 방법의 경우 수렴 속도가 $ O(d/m) $이며, 2d점 방법의 경우 수렴 속도가 $ O\big((1 - c(1-\rho^2)^2(\frac{\mu}{L})^{4/3})^{m/d}\big) $임을 보였다.

ABSTRACT

Distributed multi-agent optimization finds many applications in distributed learning, control, estimation, etc. Most existing algorithms assume knowledge of first-order information of the objective and have been analyzed for convex problems. However, there are situations where the objective is nonconvex, and one can only evaluate the function values at finitely many points. In this paper we consider derivative-free distributed algorithms for nonconvex multi-agent optimization, based on recent progress in zero-order optimization. We develop two algorithms for different settings, provide detailed analysis of their convergence behavior, and compare them with existing centralized zero-order algorithms and gradient-based distributed algorithms.

연구 동기 및 목표

• 기울기 정보가 가용하지 않은 설정에서 함수 값 쿼리만을 기반으로 비볼록 다중 에이전트 최적화 문제를 해결하고자 한다.
• 기존 방법보다 더 빠른 수렴 속도를 달성하는 분산 제로오더 알고리즘을 설계하고자 한다.
• 스무스하고 기울기 지배적인 목적 함수 하에서 수렴 속도를 분석하고, 분산 제로오더 최적화에 대한 이론적 보장을 확립하고자 한다.
• 분산 제로오더 방법에서 고차원 확장성과 수렴 속도 사이의 상호 교환 관계를 비교하고자 한다.
• 기울기 추적을 사용한 제로오더 추정이 비볼록 문제에서도 표준 DGD를 초월해 수렴을 향상시킬 수 있음을 보여주고자 한다.

제안 방법

• 분산 경사하강법(DGD)과 2점 기울기 추정기를 사용하는 알고리즘 1을 제안하며, 각 반복에서 오직 2회의 함수 평가만 필요로 한다.
• 기울기 추적을 조합한 2d점 기울기 추정기를 사용하는 알고리즘 2를 도입하여 수렴 속도를 향상시킨다.
• 각 에이전트가 기울기 추적을 통해 전역 기울기의 국소 추정치를 유지하는 공감 기반 업데이트 규칙을 적용한다.
• 함수 값 쿼리 $ z^i(t) \sim \mathcal{U}(\mathbb{S}_{d-1}) $를 사용하는 확률적 기울기 추정기 $ \tilde{g}^i(t) = \frac{1}{2u} \big( f^i(x^i(t-1) + u z^i(t)) - f^i(x^i(t-1) - u z^i(t)) \big) $를 적용한다.
• 네트워크 연결성 $ \rho $에 따라 결정되는 스텝 사이즈 규칙을 적용하며, 이는 게으른 메트로폴리스 행렬에서 유도되어 수렴을 보장한다.
• 2점 추정기의 분산을 분석하여, $ u \to 0 $일지라도 분산이 $ (d-1)\|\nabla f(x)\|^2 $로 유한하게 유지됨을 보이며, 이는 수렴에 영향을 준다.

실험 결과

연구 질문

• RQ1 분산 제로오더 최적화가 일阶 또는 이전의 제로오더 방법보다 비볼록 설정에서 더 빠른 수렴을 달성할 수 있는가?
• RQ2 2점과 2d점 기울기 추정 방식의 선택이 고차원 문제에서 수렴 속도와 확장성에 어떤 영향을 미치는가?
• RQ3 비볼록 目적 함수에 대해 분산 제로오더 최적화에서 기울기 추적의 영향은 무엇인가?
• RQ4 네트워크 연결성 $ \rho $는 분산 제로오더 알고리즘의 수렴 속도와 스텝 사이즈 선택에 어떤 영향을 미치는가?
• RQ5 제로오더 방법의 수렴 속도가 분산 비볼록 최적화에서 일阶 방법과 동일하거나 유사하게 도달할 수 있는가?

주요 결과

• 2점 기울기 추정을 사용하는 알고리즘 1은 스무스 비볼록 목적 함수에서 $ m $이 함수 쿼리 수이므로 $ O\big(\sqrt{\frac{d}{m}} \log m\big) $의 수렴 속도를 달성한다.
• 2d점 추정과 기울기 추적을 결합한 알고리즘 2는 더 빠른 수렴 속도 $ O\big(\big[1 - c(1 - \rho^2)^2(\frac{\mu}{L})^{4/3}\big]^{m/d}\big) $를 보이며, 점점 더 빠른 渐近 수렴을 보여준다.
• 2d점 방법의 수렴 속도는 $ \mu/L $에 의존하며, 기울기 추적의 정교한 분석 덕분에 이전의 볼록 방법보다 더 우수한 의존성 구조를 가진다.
• 2점 방법은 각 반복에서 오직 2회 함수 평가만 필요하므로 고차원 문제에 더 확장 가능하지만, 수렴 속도는 느리다.
• 2d점 방법은 점점 더 빠른 수렴을 보이지만 반복당 비용이 더 높아 저차원 문제에 더 적합하다.
• 이론적 분석을 통해 2점 추정기의 분산이 정적점에서 사라지지 않음을 보이며, 기울기 추적을 사용하지 않으면 수렴 속도가 제한됨을 밝혔다.