[논문 리뷰] Distributed Stochastic Subgradient Projection Algorithms for Convex Optimization

S. Sundhar Ram, Angelia Nedich외 1명|ArXiv.org|2008. 11. 16.

Distributed Control Multi-Agent Systems참고 문헌 17인용 수 38

한 줄 요약

이 논문은 공통의 제약집합을 가진 다중 에이전트 볼록 최적화를 위한 분산 확률적 하향기울기 투영 알고리즘을 제안한다. 에이전트들은 이웃 간의 통신를 통해 국소 하향기울기 정보(확률적 오차를 수반함)를 사용하여 반복적으로 자신의 추정치를 갱신하고, 공감대를 형성한다. 주요 기여는 하향기울기 오차와 스텝사이즈가 충분히 빠르게 감소할 경우 최적 해로 거의 확실히 수렴하고 에이전트들 간 평균 공감대를 형성함을 증명하는 것이다.

ABSTRACT

We consider a distributed multi-agent network system where the goal is to minimize a sum of convex objective functions of the agents subject to a common convex constraint set. Each agent maintains an iterate sequence and communicates the iterates to its neighbors. Then, each agent combines weighted averages of the received iterates with its own iterate, and adjusts the iterate by using subgradient information (known with stochastic errors) of its own function and by projecting onto the constraint set. The goal of this paper is to explore the effects of stochastic subgradient errors on the convergence of the algorithm. We first consider the behavior of the algorithm in mean, and then the convergence with probability 1 and in mean square. We consider general stochastic errors that have uniformly bounded second moments and obtain bounds on the limiting performance of the algorithm in mean for diminishing and non-diminishing stepsizes. When the means of the errors diminish, we prove that there is mean consensus between the agents and mean convergence to the optimum function value for diminishing stepsizes. When the mean errors diminish sufficiently fast, we strengthen the results to consensus and convergence of the iterates to an optimal solution with probability 1 and in mean square.

연구 동기 및 목표

• 각 에이전트가 국소 목적함수에 대한 부분적이고 노이즈가 섞인 지식을 갖는 다중 에이전트 네트워크를 위한 분산 최적화 알고리즘을 개발하는 것.
• 2차 모멘트로 유계인 확률적 하향기울기 오차가 분산 볼록 최적화의 수렴성에 미치는 영향을 분석하는 것.
• 에이전트들이 확률 1로 평균 공감대를 형성하고 최적 해로 수렴하는 조건을 설정하는 것.
• 기존의 분산 비제약 최적화 연구를 제약 조건이 있는 경우로 확장하는 것.
• 확률적 오차와 네트워크 구조로 인한 성능 저하에 대한 명시적 경계를 제공하는 것.

제안 방법

• 에이전트들은 동기적이고 지연이 없는 네트워크 모델에서 국소 반복값 시퀀스를 유지하고 이들을 이웃에게 통신한다.
• 각 에이전트는 자신의 반복값과 이웃으로부터 수신한 반복값을 가중 평균한다.
• 에이전트들은 국소 목적함수의 확률적 하향기울기를 사용하여 반복값을 갱신하고 공통의 볼록 제약집합에 투영한다.
• 알고리즘은 감소하는 또는 감소하지 않는 스텝사이즈를 사용하며, 2차 모멘트가 균일하게 유계인 하향기울기 오차를 고려한다.
• 분석은 확률적 근사, 공감대 이론, 비 i.i.d. 오차 과정에 대한 라플라스 기반 안정성 도구를 활용한다.
• 핵심 요소로는 하향기울기 오차 모델링, 제약집합에 대한 투영, 그리고 확률적 편향 하에서의 공감대 역학이 포함된다.

실험 결과

연구 질문

• RQ1 하향기울기 평가가 확률적 오차에 의해 오염되었을 때, 분산 에이전트가 평균에서 공감대를 형성할 조건은 무엇인가?
• RQ2 확률적 하향기울기 오차의 2차 모멘트가 유계일 경우, 분산 최적화 알고리즘의 최종 성능에 어떤 영향을 미치는가?
• RQ3 하향기울기 오차의 평균과 스텝사이즈의 감쇠 속도에 어떤 조건이 필요하면 거의 확실히 최적 해로 수렴하는가?
• RQ4 네트워크 토폴로지와 제약집합은 수렴 속도와 오차 경계에 어떤 영향을 미치는가?
• RQ5 오차와 스텝사이즈가 충분히 빠르게 감소할 경우, 알고리즘이 동시에 공감대 형성과 최적 해로의 수렴을 달성할 수 있는가?

주요 결과

• 감소하는 스텝사이즈와 평균이 점점 줄어드는 하향기울기 오차를 가질 경우, 알고리즘은 에이전트 간 평균 공감대를 형성하고 최적 목적함수 값으로 평균 수렴한다.
• 평균 오차가 충분히 빠르게 감소하고 스텝사이즈가 적절히 감소할 경우, 반복값은 확률 1로 공통의 최적 해로 수렴한다.
• 일정한 스텝사이즈 경우, 최적 값으로부터의 기대적 편차는 반복 횟수 $t$에 대해 $1/t$의 속도로 감소한다.
• 성능 경계는 $\alpha (\max_i \{C_i + \nu_i\})^2 m^4$로 스케일되며, 여기서 $m$은 에이전트 수, $\alpha$는 스텝사이즈의 한계, $C_i, \nu_i^2$는 하향기울기 노름과 오차의 2차 모멘트에 대한 경계이다.
• 동일하지 않은 스텝사이즈를 가질 경우에도 결과는 성립하지만, 최소화되는 목적함수는 국소 함수의 무게 없는 합이 아니라 가중 합이 된다.
• 분석은 에이전트와 시간에 따른 오차 전파를 고려하여, 확률적 하향기울기 오차로 인해 반복값들 간 통계적 의존성이 발생함을 보여준다.