[논문 리뷰] Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach

Xianlin Zeng, Peng Yi외 1명|arXiv (Cornell University)|2015. 10. 26.

Distributed Control Multi-Agent Systems참고 문헌 19인용 수 5

한 줄 요약

이 논문은 비연속 비용 함수를 가진 제약 조건이 있는 볼록 최적화를 위한 분산 연속시간 사영 알고리즘을 제안한다. 원본-이중 역동성과 사영 연산자를 사용하여 동일한 최적 해로 수렴하도록 하면서 상태가 유계임을 보장한다. 주요 기여는 비연속 리아푸노프 함수와 미분 포함을 통한 엄밀한 수렴 분석으로, 강한 볼록성이나 보조 변수의 유계성 조건 없이도 일반 볼록성에 대해 유효하다.

ABSTRACT

This technical note studies the distributed optimization problem of a sum of nonsmooth convex cost functions with local constraints. At first, we propose a novel distributed continuous-time projected algorithm, in which each agent knows its local cost function and local constraint set, for the constrained optimization problem. Then we prove that all the agents of the algorithm can find the same optimal solution, and meanwhile, keep the states bounded while seeking the optimal solutions. We conduct a complete convergence analysis by employing nonsmooth Lyapunov functions for the stability analysis of differential inclusions. Finally, we provide a numerical example for illustration.

연구 동기 및 목표

• 지역 제약 조건 하에서 비연속 볼록 비용 함수의 합을 공동으로 최소화할 수 있는 분산 연속시간 알고리즘을 설계한다.
• 모든 에이전트가 개인 정보를 공유하지 않고도 지역 정보만으로 동일한 최적 해로 수렴하도록 보장한다.
• 최적화 과정 중에 에이전트 상태의 유계성을 확보하여 이전 연구에서 보조 변수가 무한해질 수 있는 한계를 극복한다.
• 비강한 볼록성 조건 없이도 일반 볼록 문제(필수로 강한 볼록이 아님)에 대해 완전한 수렴 분석을 제공한다.
• 기존 연속시간 분산 최적화 방법을 비연속 비용 함수와 일반적인 지역 제약 집합을 다룰 수 있도록 확장한다.

제안 방법

• 각 에이전트가 지역 비용 함수와 지역 제약 집합에 기반해 상태를 갱신하는 분산 연속시간 사영 알고리즘을 설계한다.
• 제약 조건을 위반하지 않도록 보장하기 위해 사영 연산자를 통합하여 해가 타당 영역 내에 머무르도록 보장한다.
• 안정성 분석을 위해 원본 변수, 이중 변수, 최적 해와의 거리와 관련된 항을 포함하는 비연속 리아푸노프 함수를 구성한다.
• 비용 함수의 비연속성으로 인해 수렴 증명은 미분 포함을 기반으로 하며, 비연속 분석 도구를 사용해 안정성을 분석한다.
• 복합 리아푸노프 함수 $ V^*(\mathbf{x}, \lambda) $ 는 이차항과 비연속 항의 합으로 정의되며, 그 도함수가 거의 모든 곳에서 음이 아니라는 것이 입증된다.
• 리아푸노프 함수가 궤적을 따라 감소하도록 보장하기 위해 라플라시안 행렬 $ \mathbf{L} $, 크로네cker 곱, 고유값의 경계 성질을 사용한다.

실험 결과

연구 질문

• RQ1 각 에이전트가 자신의 지역 비용 함수와 지역 제약 집합만 안다면, 분산 연속시간 알고리즘이 동일한 최적 해로 수렴할 수 있는가?
• RQ2 비연속 비용 함수와 지역 제약 조건이 존재하는 상황에서 최적화 과정 중에 에이전트 상태의 유계성이 어떻게 보장될 수 있는가?
• RQ3 강한 볼록성 조건 없이도 일반 볼록 문제에 대해 수렴 분석을 확장할 수 있는가?
• RQ4 비연속 리아푸노프 분석은 비연속 최적화에서 발생하는 미분 포함의 수렴성을 증명하는 데 어떤 역할을 하는가?
• RQ5 제안된 알고리즘은 강한 볼록성이 없는 문제에 대해 이전 방법과 비교해 상태 유계성과 적용 가능성 측면에서 어떻게 다를까?

주요 결과

• 제안된 알고리즘은 일반 볼록성으로 인해 최적 해 집합이 연속체일 경우에도 모든 에이전트가 동일한 최적 해로 수렴함을 보장한다.
• 최적화 과정 중 모든 에이전트의 상태가 유계로 유지되며, 이는 이전 연구에서 보조 변수가 무한해질 수 있었던 점을 개선한 것이다.
• 비연속 리아푸노프 함수를 사용하여 수렴을 증명하였으며, 그 도함수가 거의 모든 곳에서 음이 아니라는 점이 입증되어 점점 수렴함을 의미한다.
• 분석은 강한 볼록성 조건 없이도 일반 볼록성에 대해 유효하여 연속시간 분산 최적화 방법의 적용 범위를 넓힌다.
• 리아푸노프 함수는 $ V^*(\mathbf{x}, \lambda) = V_1^*(\mathbf{x}, \lambda) + k V_2^*(\mathbf{x}, \lambda) $ 로 구성되며, 모든 구성 요소가 음이 아니고 도함수가 음이 아니므로 수렴이 보장된다.
• 제약 조건이 없을 경우 알고리즘이 기존 알려진 연속시간 분산 해법으로 수렴함을 확인하여 이전 결과와의 일致성을 입증한다.