[논문 리뷰] Distributed Online Convex Optimization with Time-Varying Coupled Inequality Constraints

Xinlei Yi, Xiuxian Li외 2명|arXiv (Cornell University)|2019. 03. 06.

Advanced Bandit Algorithms Research참고 문헌 59인용 수 9

한 줄 요약

이 논문은 시간에 따라 변화하는 결합 불등식 제약 조건을 가진 볼록 최적화를 위한 분산 온라인 원본-이중 동적 미러 강하 알고리즘을 제안한다. 여기서 국소 함수들은 순차적으로 공개되고, 에이전트들은 동적 네트워크를 통해 협력한다. 미세한 조건 하에 비선형 동적 위험도와 제약 위반을 보장하며, Slater 조건을 가정하지 않더라도 성립한다. 강한 볼록성 또는 Slater 조건 하에서는 개선된 경계를 달성한다.

ABSTRACT

This paper considers distributed online optimization with time-varying coupled inequality constraints. The global objective function is composed of local convex cost and regularization functions and the coupled constraint function is the sum of local convex functions. A distributed online primal-dual dynamic mirror descent algorithm is proposed to solve this problem, where the local cost, regularization, and constraint functions are held privately and revealed only after each time slot. Without assuming Slater's condition, we first derive regret and constraint violation bounds for the algorithm and show how they depend on the stepsize sequences, the accumulated dynamic variation of the comparator sequence, the number of agents, and the network connectivity. As a result, under some natural decreasing stepsize sequences, we prove that the algorithm achieves sublinear dynamic regret and constraint violation if the accumulated dynamic variation of the optimal sequence also grows sublinearly. We also prove that the algorithm achieves sublinear static regret and constraint violation under mild conditions. Assuming Slater's condition, we show that the algorithm achieves smaller bounds on the constraint violation. In addition, smaller bounds on the static regret are achieved when the objective function is strongly convex. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

연구 동기 및 목표

• 시간에 따라 변화하는 결합 불등식 제약 조건이 있는 볼록 최적화를 위한 분산 온라인 알고리즘을 개발한다.
• Slater 조건이 없을 경우의 위험도와 제약 위반을 분석한다.
• 성능이 스텝 사이즈 수열, 네트워크 연결성, 최적 수열의 동적 변화에 따라 어떻게 달라지는지 기술한다.
• 유사한 가정 하에 비선형 위험도와 제약 위반을 확립한다.
• 다양한 정규화 및 동적 설정 하에서의 성능를 비교한다.

제안 방법

• 에이전트들이 각 타임슬롯에서 공개되는 국소 비용, 정규화 및 제약 함수를 사용하여 결정을 업데이트하는 분산 온라인 원본-이중 동적 미러 강하 알고리즘을 설계한다.
• 결합된 불등식 제약 조건을 처리하기 위해 이중 변수를 사용하고, 시간에 따라 변화하는 Bregman 산란을 포함한 미러 강하를 원본 업데이트에 통합한다.
• 네트워크 커뮤니케이션은 시간에 따라 변화하는 방향성 그래프로 모델링되며, 에이전트들은 이웃과 정보를 교환하여 이중 변수에 대한 일치를 유지한다.
• 리아프노프 함수와 텔레스코프 합을 사용하여 위험도와 제약 위반을 분석하고, 스텝 사이즈 수열과 비교자 수열의 동적 변화에 따라 경계를 유도한다.
• 이론적 분석은 에이전트 수, 네트워크 연결성, 국소 함수의 구조를 고려한다.
• 수치 시뮬레이션은 다양한 설정(다양한 정규화 및 동적 조건 포함) 하에서 이론적 경계를 검증한다.

실험 결과

연구 질문

• RQ1 Slater 조건을 가정하지 않더라도 분산 온라인 알고리즘이 비선형 동적 위험도와 제약 위반을 달성할 수 있는가?
• RQ2 최적 수열의 누적 동적 변화는 성능 경계에 어떻게 영향을 미치는가?
• RQ3 네트워크 연결성과 스텝 사이즈 선택은 위험도와 제약 위반에 어떤 영향을 미치는가?
• RQ4 강한 볼록성과 Slater 조건은 이론적 경계를 어떻게 향상시키는가?
• RQ5 정규화는 위험도와 제약 위반 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 최적 수열의 누적 동적 변화가 비선형적으로 증가할 경우, 임의의 감소하는 스텝 사이즈 수열 하에서 알고리즘이 비선형 동적 위험도와 제약 위반을 달성한다.
• Slater 조건이 없을 경우, 제약 위반 경계는 최적 수열의 동적 변화의 제곱근에 비례한다.
• Slater 조건이 있을 경우, 제약 위반 경계는 감소하여 동적 변화에 더 탄탄한 의존성을 보인다.
• 목적 함수가 강한 볼록성을 가질 경우, 정적 위험도 경계가 향상되어 더 좋은 상수를 가진 비선형 속도를 달성한다.
• 수치 결과는 명시적 정규화가 정규화 없을 경우보다 더 작은 동적 위험도와 제약 위반을 유도함을 보여준다.
• 알고리즘은 중심화된 온라인 알고리즘과 유사한 성능을 보이며, 일부 기존 방법보다 위험도와 제약 위반 측면에서 뛰어난 성능을 보인다.