[논문 리뷰] Distributed Online Convex Optimization with an Aggregative Variable

Xiuxian Li, Xinlei Yi외 1명|arXiv (Cornell University)|2020. 07. 14.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 7

한 줄 요약

이 논문은 각 에이전트의 국소 손실 함수가 자신의 결정과 모든 에이전트의 결정 평균에 의존하는 집합적 변수를 갖는 분산 온라인 볼록 최적화를 위한 온라인 분산 기울기 추적(O-DGT) 알고리즘을 제안한다. 이 방법은 노이즈가 있는 기울기 조건 하에서도 경로 변화와 기울기 변화 항을 고려한 하한선을 갖는 부분선형 동적 위험을 달성하며, 다중 에이전트 시스템에서 이러한 집합적 종속성을 갖는 온라인 최적화에 대해 처음으로 연구한 사례이다.

ABSTRACT

This paper investigates distributed online convex optimization in the presence of an aggregative variable without any global/central coordinators over a multi-agent network, where each individual agent is only able to access partial information of time-varying global loss functions, thus requiring local information exchanges between neighboring agents. Motivated by many applications in reality, the considered local loss functions depend not only on their own decision variables, but also on an aggregative variable, such as the average of all decision variables. To handle this problem, an Online Distributed Gradient Tracking algorithm (O-DGT) is proposed with exact gradient information and it is shown that the dynamic regret is upper bounded by three terms: a sublinear term, a path variation term, and a gradient variation term. Meanwhile, the O-DGT algorithm is also analyzed with stochastic/noisy gradients, showing that the expected dynamic regret has the same upper bound as the exact gradient case. To our best knowledge, this paper is the first to study online convex optimization in the presence of an aggregative variable, which enjoys new characteristics in comparison with the conventional scenario without the aggregative variable. Finally, a numerical experiment is provided to corroborate the obtained theoretical results.

연구 동기 및 목표

• 국소 손실 함수가 개별 결정뿐만 아니라 모든 에이전트의 결정 평균과 같은 집합적 변수에 의존하는 다중 에이전트 네트워크에서의 분산 온라인 볼록 최적화 문제를 다루는 것.
• 중앙 집중식 조정자 없이도 개인정보 보호를 유지하면서 이웃 간 국소 통신을 통해 협업을 가능하게 하는 것.
• 시간에 따라 변화하는, 잠재적으로 악성일 수 있는 손실 함수를 다루는 분산 온라인 알고리즘을 개발하는 것.
• 경로 변화와 기울기 변화를 고려하여 정확한 기울기와 노이즈가 있는 기울기 조건 하에서 동적 위험의 이론적 상한을 확립하는 것.
• 기존 문헌에서 빈약한 점을 메우기 위해 분산 환경에서 집합적 변수를 갖는 온라인 최적화에 대한 첫 이론적 프레임워크를 제공하는 것.

제안 방법

• 국소 기울기 하강법과 결정의 전역 평균을 추적하는 분산 추적 기법을 조합한 온라인 분산 기울기 추적(O-DGT) 알고리즘을 제안한다.
• 전역 평균을 추정하기 위해 기울기 추적 메커니즘을 사용하여, 각 에이전트가 이웃 간 통신을 통해 간접적으로 집합적 변수에 접근할 수 있도록 한다.
• 수렴과 위험의 균형을 맞추기 위해 감소하는 스텝 사이즈 규칙 $\alpha_t$ 를 적용하여 부분선형 동적 위험을 보장한다.
• 위험을 세 부분으로 분해하는 새로운 분석 프레임워크를 도입한다: 부분선형 항, 경로 변화, 기울기 변화.
• 유한한 노이즈를 가정하는 조건 하에서 알고리즘을 확률적 기울기로 확장하고, 기대 위험이 정확한 기울기 경우와 동일한 부분선형 상한을 유지함을 증명한다.
• 행렬 분석과 리아푸노프 스타일의 추론을 활용하여, 에이전트의 추정치가 전역 평균 및 최적 궤적에서 벗어나지 않도록 편차를 제한한다.

실험 결과

연구 질문

• RQ1 국소 손실 함수가 모든 에이전트의 결정 평균과 같은 전역 집합적 변수에 의존할 경우, 분산 온라인 볼록 최적화 문제가 효과적으로 해결될 수 있는가?
• RQ2 시간에 따라 변화하는 손실 함수를 갖는 이러한 분산적, 집합적 환경에서 동적 위험의 근본적 한계는 무엇인가?
• RQ3 노이즈가 있거나 확률적 기울기가 존재할 경우, 집합적 변수를 갖는 분산 온라인 알고리즘의 성능과 위험 상한은 어떻게 영향을 받는가?
• RQ4 중앙 집중식 조정자나 전역 정보에 의존하지 않고도 탈중앙화된 알고리즘이 부분선형 동적 위험을 달성할 수 있는가?
• RQ5 분산 온라인 환경에서 손실 함수가 집합적이고 국소적이지 않은 변수에 의존할 경우 분석에 있어 새로운 이론적 과제는 무엇인가?

주요 결과

• 정확한 기울기 조건 하에서도 O-DGT 알고리즘은 $O(\sqrt{T})$ 의 동적 위험 상한에 더해 경로 변화와 기울기 변화 항을 포함하며, 부분선형 동적 위험을 달성한다.
• 확률적 기울기 조건 하에서는 기대 동적 위험도 정확한 기울기 경우와 동일한 부분선형 상한을 유지하여 노이즈에 대한 강건성을 입증한다.
• 전역 평균 추적 오차(즉, $\|y_t - \mathbf{1}_N \otimes \bar{y}_t\|$)가 유한하게 유지됨을 보장하여 수렴에 핵심적이다.
• 감소하는 스텝 사이즈 $\alpha_t$ 를 통해 에이전트의 결정이 최적 궤적에서 벗어나지 않도록 제어하며, $\|x_t - x_t^*\|$ 는 $O(1/\alpha_T)$ 로 유한하게 제한된다.
• 분석 결과 공감 오차와 기울기 노이즈의 영향이 정량적으로 제한되며, 항목의 크기는 $O(\sum \alpha_t)$ 와 $O(\sum \alpha_t \|y_t - \mathbf{1}_N \otimes \bar{y}_t\|^2)$ 로 스케일링된다.
• 수치 실험을 통해 이론적 결과를 검증하였으며, 집합적 종속성이 있는 동적이고 분산된 환경에서 낮은 위험을 달성하는 데에 알고리즘이 효과적임을 보였다.