[논문 리뷰] Distributed Online Optimization for Multi-Agent Networks with Coupled Inequality Constraints

Xiuxian Li, Xinlei Yi외 1명|arXiv (Cornell University)|2018. 05. 15.

Advanced Bandit Algorithms Research참고 문헌 53인용 수 8

한 줄 요약

이 논문은 지역 집합 제약 조건과 결합된 부등식 제약 조건이 있는 다중 에이전트 네트워크를 위한 분산 온라인 원본-이중 푸시합 알고리즘(DOPP)을 제안한다. 비용 함수와 제약 조건 함수는 순차적으로 공개된다. 이 알고리즘은 유계 라그랑주 승수를 요구하지 않아도 되므로, 비균형 네트워크 및 스마트 그리드와 무선 네트워크의 실시간 응용 분야에 적용 가능하며, 하위선형 동적 회귀와 제약 위반을 달성한다.

ABSTRACT

This paper investigates the distributed online optimization problem over a multi-agent network subject to local set constraints and coupled inequality constraints, which has a lot of applications in many areas, such as wireless sensor networks, power systems and plug-in electric vehicles. In this problem, the cost function at each time step is the sum of local cost functions with each of them being gradually revealed to its corresponding agent, and meanwhile only local functions in coupled inequality constraints are accessible to each agent. To address this problem, a modified primal-dual algorithm, called distributed online primal-dual push-sum algorithm (DOPP), is developed in this paper, which does not rest on any assumption on parameter boundedness and is applicable to unbalanced networks. It is shown that the proposed algorithm is sublinear for both the dynamic regret and the violation of coupled inequality constraints. Finally, the theoretical results are supported by a simulation example.

연구 동기 및 목표

• 부분적이고 시간에 따라 변하는 정보 하에서 지역 집합 제약 조건과 결합된 부등식 제약 조건이 있는 다중 에이전트 네트워크에서의 분산 온라인 최적화 문제를 다루는 것.
• 미래의 비용 함수나 제약 조건 함수에 대한 사전 지식이 필요 없이 작동하는 분산 알고리즘을 개발하는 것.
• 이전 방법에서 제한을 가르키는 라그랑주 승수의 유계성 가정을 제거하는 것.
• 실제 구현에서 흔한 비균형 통신 네트워크에 적용 가능하도록 하는 것.
• 온라인 성능 평가를 위해 하위선형 동적 회귀와 제약 위반을 달성하는 것.

제안 방법

• 비균형 네트워크 구조를 다룰 수 있도록 푸시합 공감을 기반으로 한 수정된 원본-이중 알고리즘인 DOPP를 제안한다.
• 각 에이전트는 자신의 지역 비용 함수와 제약 조건 함수 외의 정보에 접근하지 않는다.
• 지역 서브기울기와 푸시합을 통한 가중 평균을 활용하여 이중 변수 갱신 규칙을 도입한다.
• 적응형 스텝 사이즈와 정규화 메커니즘을 활용하여, 유계성 가정 없이 수렴성을 유지한다.
• 볼록성과 코시-슈바르츠 부등식을 이용해 이중 변수 오차에 대한 재귀 부등식을 유도하고, 수렴 한계를 도출한다.
• 리아푸노프 유사 분석을 통해 이론적 수렴성을 확립하며, 시간 수평선에 따라 회귀와 제약 위반을 상한선으로 제한한다.

실험 결과

연구 질문

• RQ1 결합된 부등식 제약 조건 하에서 라그랑주 승수의 유계성 가정 없이도 하위선형 동적 회귀를 달성할 수 있는가?
• RQ2 비균형 네트워크에서 에이전트들이 지역 함수만을 접근하면서도 이중 변수에 대해 공감대를 형성할 수 있는가?
• RQ3 온라인 분산 환경에서 동적 회귀와 제약 위반 사이의 성능 트레이드오프는 무엇인가?
• RQ4 비용 함수와 제약 조건 함수가 순차적으로 공개될 경우에도 알고리즘이 하위선형 회귀와 제약 위반을 유지할 수 있는가?
• RQ5 표준 공감과 비교해 푸시합 메커니즘이 비균형 네트워크에서 어떻게 강건성을 향상시키는가?

주요 결과

• 제안된 DOPP 알고리즘은 전역 목표 함수에 대해 순서 O(T^{3/4})의 하위선형 동적 회귀를 달성한다.
• 알고리즘은 결합된 부등식 제약 조건에 대해 순서 O(T^{3/4})의 하위선형 제약 위반을 보장한다.
• 이전 연구에서 핵심 가정이었던 라그랑주 승수의 유계성 조건이 필요 없어져 실용적 적용 가능성이 향상된다.
• 푸시합 공감을 사용함으로써 비균형 통신 네트워크에 적용 가능하다. 이는 이중 스토哈스틱 가중치를 사용하지 않기 때문이다.
• 이론적 분석을 통해 리아푸노프 함수 접근법을 통해 수렴성을 확인하였으며, 이중 변수 오차와 제약 위반을 상한선으로 제한한다.
• 시뮬레이션 결과는 이론적 결과를 검증하며, 시간이 지남에 따라 회귀와 위반의 일관된 하위선형 증가를 보여준다.