[논문 리뷰] On distributed convex optimization under inequality and equality constraints via primal-dual subgradient methods

Minghui Zhu, Sonia Martı́nez|arXiv (Cornell University)|2010. 01. 15.

Distributed Control Multi-Agent Systems참고 문헌 36인용 수 45

한 줄 요약

이 논문은 전역 부등식 및 등식 제약 조건 하에서 다중 에이전트 볼록 최적화 문제를 해결하기 위해 분산 선형-쌍대 하향 기울기 알고리즘 두 종류—DLPDS와 DPPDS—를 제안한다. 이 알고리즘들은 라그랑주 풀이법과 페널티 방법을 활용하며, 에이전트들이 국소적 소통만으로도 중앙 집중적 조율 없이 시간에 따라 변하는 네트워크에서도 슬레이터 조건 하에 최적 해와 최적 값을 점차 수렴하도록 한다.

ABSTRACT

We consider a general multi-agent convex optimization problem where the agents are to collectively minimize a global objective function subject to a global inequality constraint, a global equality constraint, and a global constraint set. The objective function is defined by a sum of local objective functions, while the global constraint set is produced by the intersection of local constraint sets. In particular, we study two cases: one where the equality constraint is absent, and the other where the local constraint sets are identical. We devise two distributed primal-dual subgradient algorithms which are based on the characterization of the primal-dual optimal solutions as the saddle points of the Lagrangian and penalty functions. These algorithms can be implemented over networks with changing topologies but satisfying a standard connectivity property, and allow the agents to asymptotically agree on optimal solutions and optimal values of the optimization problem under the Slater's condition.

연구 동기 및 목표

• 각 에이전트가 국소 목표 함수와 제약 조건을 지닌 전역 부등식 및 등식 제약 조건이 있는 분산 다중 에이전트 볼록 최적화 문제를 다루기.
• 에이전트들이 국소 정보 교환만으로도 공유 제약 조건을 만족시키며 전역 목표 함수를 공동으로 최소화할 수 있도록 하기.
• 시간에 따라 변하는 네트워크 구조에 대해 강건한 알고리즘 설계를 통해 표준 연결성 가정 하에서 수렴 보장하기.
• 기존 연구를 확장하여 분산 하향 기울기 방법에 전역 제약 조건—부등식 및 등식—을 통합하기.
• 선형-쌍대 하향 기울기 동역학을 사용하여 최적의 원래 해와 최적 값으로 점차 수렴하기.

제안 방법

• 등식 제약 조건이 없는 경우 라그랑주 풀이법을 사용하여 문제를 수립하고, 최적 해가 라그랑주 함수의 안장점으로 특성화됨을 설명한다.
• 평균 공감, 하향 기울기 단계, 국소 제약 집합 또는 컴act 쌍대 집합 위의 원형/쌍대 투영을 조합한 DLPDS 알고리즘을 개발한다.
• 국소 제약 집합이 동일한 경우, 페널티 함수와 선형-쌍대 하향 기울기 동역학을 기반으로 한 DPPDS 알고리즘을 제안한다.
• 동적 평균 공감 알고리즘을 사용하여 국소 변수의 전역 평균을 추정하고, 시간에 따라 변하는 그래프에서 에이전트 간의 일치를 보장한다.
• 여기서는 볼록 해석학과 비확장 성질을 활용하여 타당성 강제를 위한 투영 연산자를 적용한다.
• 수렴 보장을 위해 점점 감소하는 스텝 사이즈(예: α(k) = 1/(k+1))를 사용하며, 반복값의 유계성을 유지한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 시스템에서 전역 부등식 및 등식 제약 조건을 다룰 수 있도록 분산 하향 기울기 방법을 확장할 수 있는가?
• RQ2 에이전트들이 국소 목표 함수와 제약 조건만을 알고 있을 때, 어떻게 동일한 최적 해에 합의할 수 있는가?
• RQ3 네트워크 구조와 문제 구조에 대해 어떤 조건이 분산 선형-쌍대 알고리즘의 점차 수렴을 보장하는가?
• RQ4 라그랑주 풀이법과 페널티 방법은 수렴 행동과 구현 복잡성 측면에서 어떻게 비교되는가?
• RQ5 정기적인 강한 연결성 조건을 만족하는 시간에 따라 변하는 통신 그래프 하에서 수렴을 보장할 수 있는가?

주요 결과

• 슬레이터 조건과 네트워크의 정기적인 강한 연결성 하에서 DLPDS 알고리즘은 최적 해와 최적 값을 점차적으로 수렴한다.
• 국소 제약 집합이 동일한 경우 DPPDS 알고리즘은 페널티 기반 선형-쌍대 수식을 사용하여 동일한 수렴 성질을 달성한다.
• 수치 결과는 다섯 에이전트 시스템에서 등식 제약과 상자 제약 조건 하에서 두 알고리즘이 최적 해 [1 1 1 1 1]ᵀ로 수렴함을 보여준다.
• 모의 실험 결과에 따르면, 두 분산 알고리즘의 수렴 속도는 중심화된 하향 기울기 방법보다 느리다.
• 이론적 분석을 통해 에이전트들의 추정치 간 차이가 시간이 지남에 따라 감소함을 확인하여 최적 해에 대한 합의가 보장됨을 입증한다.
• 네트워크가 정기적인 강한 연결성과 균형 잡힌 통신 가정을 만족하는 한, 시간에 따라 변하는 구조에서도 알고리즘이 안정적이고 수렴 가능하다.