[논문 리뷰] Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization

Zhan Yu, Daniel W. C. Ho외 1명|arXiv (Cornell University)|2019. 03. 11.

Distributed Control Multi-Agent Systems참고 문헌 20인용 수 9

한 줄 요약

이 논문은 다중 에이전트 네트워크에서 제약 조건이 있는 볼록 최적화를 위한 분산형 랜덤화된 기울기 없는 미러 강하법(DRGFMD) 알고리즘을 제안한다. 브레그만 산란과 분산형 역수 가중 평균을 사용하여 볼록 문제의 경우 O(1/√T) 수렴 속도와 강한 볼록 케이스의 경우 O(ln T / T) 수렴 속도를 달성하며, 기울기 또는 부분도 정보가 필요 없이도 최고의 알려진 속도를 달성한다.

ABSTRACT

This paper is concerned with multi-agent optimization problem. A distributed randomized gradient-free mirror descent (DRGFMD) method is developed by introducing a randomized gradient-free oracle in the mirror descent scheme where the non-Euclidean Bregman divergence is used. The classical gradient descent method is generalized without using subgradient information of objective functions. The proposed algorithm is the first distributed non-Euclidean zeroth-order method which achieves an $O(1/\sqrt{T})$ convergence rate, recovering the best known optimal rate of distributed compact constrained convex optimization. Also, the DRGFMD algorithm achieves an $O(\ln T/T)$ convergence rate for the strongly convex constrained optimization case. The rate matches the best known non-compact constraint result. Moreover, a decentralized reciprocal weighted average approximating sequence is investigated and first used in distributed algorithm. A class of convergence rates are also achieved for the algorithm with weighted averaging (DRGFMD-WA). The technique on constructing the decentralized weighted average sequence provides new insight in searching for minimizers in distributed algorithms.

연구 동기 및 목표

• 다중 에이전트 시스템에서 제약 조건이 있는 최적화를 위한 분산형 비유클리드 제로스터드 방법의 부족을 해결한다.
• 부분도나 기울기 정보 없이도 수렴 보장을 유지하는 기울기 없는 알고리즘을 개발한다.
• 수렴 행동을 향상시키기 위해 분산형 역수 가중 평균 수열을 도입한다.
• 최소한의 가정 하에 볼록 및 강한 볼록 제약 조건 최적화 문제에 대해 최적의 수렴 속도를 달성한다.
• 수렴, 일치성, 차원 및 스텝 사이즈 선택에 대한 강건성에 대한 이론적 분석과 시뮬레이션 검증을 제공한다.

제안 방법

• 비유클리드 기하학을 위해 브레그만 산란을 사용하는 미러 강하 프레임워크에 랜덤화된 기울기 없는 오라클을 통합한다.
• 에이전트 간의 수렴성과 안정성을 향상시키기 위해 분산형 역수 가중 평균 근사 수열을 구성한다.
• 시간에 따라 변화하는 방향성 네트워크에서 수렴을 보장하기 위해 αₜ = 1/(t+1)ᵅ 형태의 감소하는 스텝 사이즈 규칙(α ∈ (0, 1/2])을 사용한다.
• 브레그만 산란을 활용한 미러 강하법을 통해 부분도 접근 없이도 고전적 기울기 강하법을 비유클리드 공간으로 일반화한다.
• 확률론적 및 최적화 기법을 사용하여 에이전트 간 예상 불일치도와 수렴 속도에 대한 이론적 경계를 수립한다.
• 표준 목적 함수 가정 하에 컴act 볼록 및 닫힌 볼록 제약 조건 집합에 대해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 기울기 또는 부분도 정보 없이도 최적의 수렴 속도를 유지하면서 분산형 제로스터드 최적화 알고리즘을 개발할 수 있는가?
• RQ2 비유클리드 브레그만 프레임워크에서 랜덤화된 기울기 없는 오라클을 사용하는 분산형 미러 강하법의 수렴 속도는 무엇인가?
• RQ3 분산형 역수 가중 평균 수열의 도입이 분산 최적화에서 수렴성과 일치성에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 기울기 접근 없이도 볼록 및 강한 볼록 제약 조건 최적화 문제에 대해 최고의 알려진 수렴 속도를 달성할 수 있는가?
• RQ5 결정 공간의 차원과 스텝 사이즈 선택은 분산 환경에서 수렴 속도와 정확도에 어떤 영향을 미치는가?

주요 결과

• DRGFMD 알고리즘은 볼록 제약 조건 최적화 문제에서 O(1/√T) 수렴 속도를 달성하며, 이는 분산 컴팩트 제약 조건 설정에서 알려진 최고의 속도와 일치한다.
• 강한 볼록 문제의 경우 알고리즘은 O(ln T / T) 수렴 속도를 확보하며, 이는 알려진 최고의 비컴팩트 제약 조건 결과와 일치한다.
• 제안된 분산형 역수 가중 평균 수열은 수렴 행동을 향상시키며, 향상된 수렴 속도의 클래스를 가능하게 한다.
• 시뮬레이션 결과에서 수렴 속도가 차원 n의 증가와 함께 감소함을 확인하였으며, 이는 이론적 예측과 일치한다.
• DRGFMD-WA 변종은 이전의 분산 기울기 없는 투영 방법(DGFP)보다 우수한 성능을 보이며, 정확도는 약 10⁻²에서 10⁻¹ 수준으로 향상된다.
• 작은 스텝 사이즈 지수 δ(예: 0.3)는 더 큰 δ 값(예: 0.5)보다 수렴 속도가 현저히 느리며, δ = 0.3과 δ = 0.4 사이에 뚜렷한 격차가 있다.