[논문 리뷰] Decentralized Online Convex Optimization in Networked Systems

Yiheng Lin, Judy Gan외 3명|arXiv (Cornell University)|2022. 07. 13.

Distributed Control Multi-Agent Systems인용 수 5

한 줄 요약

이 논문은 시간적 및 공간적 상호작용을 포함하는 전역 비용을 최소화하기 위해 국소 예측과 이웃 정보를 활용하는 네트워크 시스템을 위한 새로운 분산형 온라인 볼록 최적화 알고리즘인 국소 예측 제어(LPC)를 소개한다. LPC는 경쟁 비율 $1 + \tilde{O}(\rho_T^k) + \tilde{O}(\rho_S^r)$을 달성하며, 이는 예측 수평 $k$와 통신 반경 $r$이 증가함에 따라 지수적으로 1에 수렴한다. 또한 이 의존성은 일치하는 하한을 통해 거의 최적임을 증명한다.

ABSTRACT

We study the problem of networked online convex optimization, where each agent individually decides on an action at every time step and agents cooperatively seek to minimize the total global cost over a finite horizon. The global cost is made up of three types of local costs: convex node costs, temporal interaction costs, and spatial interaction costs. In deciding their individual action at each time, an agent has access to predictions of local cost functions for the next $k$ time steps in an $r$-hop neighborhood. Our work proposes a novel online algorithm, Localized Predictive Control (LPC), which generalizes predictive control to multi-agent systems. We show that LPC achieves a competitive ratio of $1 + ilde{O}(ρ_T^k) + ilde{O}(ρ_S^r)$ in an adversarial setting, where $ρ_T$ and $ρ_S$ are constants in $(0, 1)$ that increase with the relative strength of temporal and spatial interaction costs, respectively. This is the first competitive ratio bound on decentralized predictive control for networked online convex optimization. Further, we show that the dependence on $k$ and $r$ in our results is near optimal by lower bounding the competitive ratio of any decentralized online algorithm.

연구 동기 및 목표

• 네트워크 시스템에서 시간적 및 공간적 상호작용 비용을 효과적으로 다룰 수 있는 분산형 온라인 알고리즘을 설계하는 것.
• 국소 예측과 제한된 이웃 정보를 활용하여 예측 제어를 다중 에이전트 환경에 통합하는 것.
• 적대적 비용 시퀀스 하에서 분산형 온라인 최적화의 경쟁 비율 상한을 설정하는 것.
• 성능에 영향을 주는 예측 수평 $k$와 통신 반경 $r$ 간의 상호 교환 관계를 정량화하는 것.
• 하한을 통해 알고리즘의 $k$와 $r$에 대한 의존성이 최적임을 증명하는 것.

제안 방법

• 분산형 다중 에이전트 시스템에 특화된 예측 제어 프레임워크인 국소 예측 제어(LPC)를 제안한다.
• 각 에이전트는 자신의 $r$-호프 이웃 내에서 향후 $k$단계 동안의 국소 비용 예측을 사용하여 결정을 내린다.
• LPC는 볼록 노드 비용, 시간적 상호작용 비용, 공간적 상호작용 비용로 구성된 전역 비용 함수를 최소화한다.
• 지역 정보를 기반으로 하는 후행 수평 최적화 전략을 사용하여 확장성과 낮은 통신 오버헤드를 보장한다.
• 이론적 분석을 통해 시간적 및 공간적 상호작용 강도에 따라 달라지는 감쇠 요인 $\rho_T$와 $\rho_S$를 포함하는 경쟁 비율 상한을 유도한다.
• 모든 분산 알고리즘에 대해 경쟁 비율의 하한을 설정하여 거의 최적임을 증명하며, $\Omega(\lambda_T^k) + \Omega(\lambda_S^r)$ 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 적대적 네트워크 온라인 볼록 최적화에서 시간적 및 공간적 비용을 고려할 때, 분산 알고리즘이 1에 가까운 경쟁 비율을 달성할 수 있는가?
• RQ2 예측 수평 $k$와 통신 반경 $r$은 알고리즘 성능을 결정하는 데 어떻게 상호 교환되는가?
• RQ3 분산형 온라인 제어에서 경쟁 비율이 $k$와 $r$에 대해 거의 최적의 의존성을 가지는가?
• RQ4 국소 정보와 전역 목표를 가진 분산형 다중 에이전트 시스템으로 예측 제어를 일반화할 수 있는가?
• RQ5 이 설정에서 어떤 분산형 온라인 알고리즘의 경쟁 비율에 대한 기본 한계는 무엇인가?

주요 결과

• LPC는 $1 + \tilde{O}(\rho_T^k) + \tilde{O}(\rho_S^r)$의 경쟁 비율을 달성하며, $k$와 $r$이 증가함에 따라 지수적으로 1에 수렴한다.
• 경쟁 비율은 시간적 및 공간적 상호작용 강도에 따라 달라지는 감쇠 요인 $\rho_T$와 $\rho_S$에 의존한다.
• 하한을 통해 $k$와 $r$에 대한 의존성이 거의 최적임을 입증하였으며, 모든 분산 알고리즘에 대해 $1 + \Omega(\lambda_T^k) + \Omega(\lambda_S^r)$ 의존성이 존재한다.
• 자원 증강 분석을 통해 LPC의 성능이 문제의 구조적 파rameter에 대해 $k$와 $r$ 기준으로 순서적으로 최적임을 보였다.
• 감쇠 요인 $\rho_T$와 $\rho_S$는 문제의 상호작용 강도에 의해 유계이며, $\rho_T^4 \leq \lambda_T \leq \rho_T^2$ 및 $\rho_S^{32} \leq \lambda_S$ 를 만족한다.
• 결과적으로 시간적 및 공간적 상호작용 강도에 따라 목표 경쟁 비율을 달성하기 위한 최소한의 $k$와 $r$를 정량화하였다.