[논문 리뷰] Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization

Deming Yuan, Yiguang Hong외 2명|arXiv (Cornell University)|2016. 10. 15.

Distributed Control Multi-Agent Systems참고 문헌 26인용 수 5

한 줄 요약

이 논문은 시간에 따라 변화하는 다중 에이전트 네트워크에서 강凸 최적화를 위한 두 가지 비유클리드 분산 확률 미러 경사하강 알고리즘을 제안한다. 여기서 유클리드 투영 대신 브레그만 산란을 사용한다. 첫 번째 알고리즘은 $O(\frac{\text{ln}(T)}{T})$의 최고 성능을 달성하며, 두 번째 알고리즘은 에포크 기반 변종으로 최적의 $O(\frac{1}{T})$ 수렴 속도를 확보하여 중심화된 확률 서브기울기 방법과 동일한 성능을 낸다.

ABSTRACT

In this paper we consider convergence rate problems for stochastic strongly-convex optimization in the non-Euclidean sense with a constraint set over a time-varying multi-agent network. We propose two efficient non-Euclidean stochastic subgradient descent algorithms based on the Bregman divergence as distance-measuring function rather than the Euclidean distances that were employed by the standard distributed stochastic projected subgradient algorithms. For distributed optimization of nonsmooth and strongly convex functions whose only stochastic subgradients are available, the first algorithm recovers the best previous known rate of O(ln(T)/T) (where T is the total number of iterations). The second algorithm is an epoch variant of the first algorithm that attains the optimal convergence rate of O(1/T), matching that of the best previously known centralized stochastic subgradient algorithm. Finally, we report some simulation results to illustrate the proposed algorithms.

연구 동기 및 목표

• 복잡한 제약 집합을 가진 비미분 가능하고 강凸인 함수를 다룰 때 유클리드 기반 분산 확률 서브기울기 방법의 한계를 해결하기 위해.
• 비유클리드 기하학을 브레그만 산란을 통해 활용하여 수렴성과 투영 효율성을 향상시키는 분산 최적화 알고리즘을 개발하기 위해.
• 특히 비미분 가능하고 강凸인 목표 함수에 대해 분산 확률 설정에서 최적의 수렴 속도를 달성하기 위해.
• 특정 제약 조건(예: 단위 단체형)에서 유클리드 투영이 계산적으로 불가능하거나 비효율적일 수 있음을 감안해 유클리드 투영에 의존하는 것을 제거하기 위해.
• 중앙집중식 확률 서브기울기 방법의 수렴 성능을 분산형 다중 에이전트 환경에서 동일하거나 초월하기 위해.

제안 방법

• 표준 유클리드 투영 대신 거리 측정 함수로 브레그만 산란을 사용하는 분산 확률 미러 경사하강 알고리즘 설계.
• 강凸 잠재 함수 $\Phi$ 의 쌍대 함수를 기반으로 한 미러 경사하강 업데이트 규칙을 적용하여 효율적이고 실행 가능한 업데이트 보장.
• 에포크 기반 변종 알고리즘을 도입하여 에포크마다 스텝 사이즈를 재설정함으로써 더 빠른 수렴 속도 확보.
• 시간에 따라 변화하는 네트워크에서 에이전트 간 일치를 확보하기 위해 双중 확률 가중치 행렬 사용. 수렴 성질은 행렬 노름 감쇠를 통해 경계 설정.
• 일阶 최적성 조건과 $\Phi$ 의 강凸성에 기반해 반복값과 평균 결정 벡터 간의 기대 거리에 대한 경계 유도.
• 유한한 확률 서브기울기($\mathbb{E}[\nabla g_{i,t}] \leq G$)와 $\sigma_\Phi$-강凸성의 $\Phi$ 를 가정하여 수렴 보장을 도출.

실험 결과

연구 질문

• RQ1 브레그만 산란을 사용하는 미러 경사하강은 비미분 가능하고 강凸인 함수에 대해 분산 확률 최적화에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 유클리드 투영을 브레그만 산란 기반 업데이트로 대체할 경우, 단위 단체형과 같은 복잡한 제약 집합에서 수렴 성능과 실행 가능성에 향상이 이루어지는가?
• RQ3 에포크 기반 미러 경사하강 알고리즘은 분산 설정에서 $O(1/T)$ 수렴 속도를 달성할 수 있는가? 이는 중심화된 최고의 확률 서브기울기 방법과 동일한 성능이다.
• RQ4 유사한 가정 하에 기존의 분산 확률 투영 서브기울기 방법과 비교해 제안된 알고리즘의 수렴 속도는 어떻게 되는가?
• RQ5 네트워크의 동적 특성(시간에 따라 변화하는 구조)은 분산 미러 경사하강 기반 알고리즘의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 제안된 첫 번째 알고리즘은 비미분 가능하고 강凸인 함수에 대한 분산 확률 최적화에서 최고 성능의 수렴 속도인 $O\left(\frac{\text{ln}(T)}{T}\right)$ 을 회복한다.
• 에포크 기반 변종 알고리즘은 최적의 수렴 속도인 $O\left(\frac{1}{T}\right)$ 를 달성하며, 중심화된 확률 서브기울기 방법의 최고 성능과 일치한다.
• 브레그만 산란의 사용은 유클리드 투영이 어려운 또는 실행 불가능한 제약 집합(예: 단위 단체형)에서도 효율적이고 실행 가능한 업데이트를 가능하게 한다.
• 이론적 분석은 기대 일치 오차가 가중치 행렬의 스펙트럼 성질에 의해 제어되며 시간이 지남에 따라 지수적으로 감소함을 확인한다.
• 시뮬레이션 결과는 제안된 알고리즘이 표준 분산 확률 투영 서브기울기 알고리즘보다 더 빠르게 수렴함을 보여주며, 비유클리드 제약 조건 하에서 특히 뚜렷하다.
• 수렴 속도 향상 요인은 미러 경사하강 기하학과 에포크 기반 스텝 사이즈 스케줄링의 조합으로 인해 발생하며, 이는 수렴 안정성과 속도 향상에 기여한다.