[논문 리뷰] Fast and Stable Nonconvex Constrained Distributed Optimization: The ELLADA Algorithm

Wentao Tang, Pródromos Daoutidis|arXiv (Cornell University)|2020. 04. 04.

Advanced Control Systems Optimization참고 문헌 61인용 수 5

한 줄 요약

이 논문은 비볼록 제약 조건을 가진 문제에 대해 전역 수렴성을 달성하는 새로운 분산 최적화 알고리즘인 ELLADA를 제안한다. 이 알고리즘은 추가 계층 아키텍처, 등식 제약 조건을 가진 비선형 프로그래밍(NLP) 하位 문제의 비정확한 해법, 수정된 앤더슨 가속 기법을 통합함으로써 이를 실현한다. 이 방법은 계산 효율성과 안정성을 확보하며, 증명 가능한 수렴성과 반복 복잡도 한계를 제공함으로써 분산 비선형 모델 예측 제어(NMPC) 응용에 적합하다.

ABSTRACT

Distributed optimization, where the computations are performed in a localized and coordinated manner using multiple agents, is a promising approach for solving large-scale optimization problems, e.g., those arising in model predictive control (MPC) of large-scale plants. However, a distributed optimization algorithm that is computationally efficient, globally convergent, amenable to nonconvex constraints and general inter-subsystem interactions remains an open problem. In this paper, we combine three important modifications to the classical alternating direction method of multipliers (ADMM) for distributed optimization. Specifically, (i) an extra-layer architecture is adopted to accommodate nonconvexity and handle inequality constraints, (ii) equality-constrained nonlinear programming (NLP) problems are allowed to be solved approximately, and (iii) a modified Anderson acceleration is employed for reducing the number of iterations. Theoretical convergence towards stationary solutions and computational complexity of the proposed algorithm, named ELLADA, is established. Its application to distributed nonlinear MPC is also described and illustrated through a benchmark process system.

연구 동기 및 목표

• 대규모 시스템에 대한 비볼록 제약 조건을 가진 문제에 대해 전역 수렴성과 계산 효율성을 동시에 확보하는 분산 최적화 알고리즘이 부족한 문제를 해결하기 위해.
• 중앙집중식 또는 반중앙집중식 아키텍처를 피하고, 단지 국소 모델 정보와 조정자에 의한 협업을 통해 분산 비선형 모델 예측 제어(NMPC)를 가능하게 하기 위해.
• 기존 ADMM가 비볼록 환경에서 반복 횟수가 많고 수렴 속도가 느린 문제를 해결하기 위해 향상된 가속 및 이완 기법을 도입하기 위해.
• 수렴 보장을 유지하면서도 하위 문제의 비정확한 해법을 허용함으로써 각 반복의 계산 부담을 줄이기 위해.

제안 방법

• 비볼록 부등식 및 등식 제약 조건을 처리하기 위해 슬랙 변수를 도입하고, 이들의 0에서의 이격을 처벌함으로써 추가 계층 아키텍처를 도입한다.
• 각 반복에서 등식 제약 조건을 가진 비선형 프로그래밍(NLP) 하위 문제의 비정확한 해법을 허용함으로써 각 반복의 계산 비용을 감소시킨다.
• 이중 변수에 대해 수정된 앤더슨 가속 기법을 적용하여 수렴 속도를 향상시키며, 안정성과 수렴성을 보장하기 위한 보호 조치를 포함한다.
• 구속된 보조라그랑주 형식을 사용하며, 약한 가정 하에 유계성과 부분수열 수렴성 논증을 통해 수렴성을 확립한다.
• 에이전트들이 국소 하위 문제를 풀고 조정자가 모든 에이전트의 정보를 바탕으로 이중 변수를 갱신하는 방식으로 원-이중 구조를 유지한다.
• 앤더슨 가속 기법이 반복을 불안정하게 만들지 않도록 보호 기준을 도입하여, 비볼록성 조건 하에서도 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 일반적인 하위계 간 상호작용을 가진 비볼록 문제에 대해 분산 최적화 알고리즘이 정적 해에 전역 수렴할 수 있는가?
• RQ2 수렴성이나 최적성에 영향을 주지 않으면서 하위 문제의 비정확한 해법을 어떻게 수용할 수 있는가?
• RQ3 앤더슨 가속 기법을 비볼록 분산 최적화에 효과적으로 적용하여 반복 횟수를 줄일 수 있는가?
• RQ4 외부 반복과 내부 반복의 관점에서 제안된 알고리즘의 계산 복잡도는 어떻게 되는가?
• RQ5 추가 계층 아키텍처는 비볼록 제약 조건을 처리하면서도 분산 구조를 유지하는 데 어떻게 기여하는가?

주요 결과

• ELLADA는 표준 가정 하에 비볼록 제약 조건을 가진 분산 최적화 문제에 대해 정적 해에 전역 수렴성을 확보한다.
• ϵ-근사 정적 해에 도달하기 위해 필요한 내부 반복 총 수는 𝒪(ϵ⁻²⁽¹⁺ς⁾)로 스케일링되며, 이는 다항식 반복 복잡도를 나타낸다.
• 알고리즘은 하위 문제의 근사적 해법을 허용함에도 불구하고 수렴성을 유지하며, 이는 각 반복의 계산 비용을 크게 감소시킨다.
• 수정된 앤더슨 가속 기법은 반복 횟수를 효과적으로 줄이며, 유계성과 부분수열 수렴성 논증을 통해 보조라그랑주 형식의 수렴성이 확립된다.
• 이 방법은 계산적으로 효율적이고 안정적이며, 수렴성과 복잡도에 대한 이론적 보장을 제공하여 실시간 응용, 예를 들어 분산 NMPC에 적합하다.
• 기준 공정 시스템에서의 검증을 통해 실용성과 분산 비선형 모델 예측 제어에서의 성능이 입증되었다.