[논문 리뷰] A two-level distributed algorithm for nonconvex constrained optimization

Kaizhao Sun, Xu Andy Sun|arXiv (Cornell University)|2019. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 78인용 수 10

한 줄 요약

이 논문은 비볼록 제약 최적화 문제를 위한 이중 수준 분산 알고리즘을 제안하며, 내부 수준에서 다중 블록 ADMM와 외부 수준에서 보완된 라그랑주 승수 방법(ADMM)을 조합하여 전역 수렴성과 국소 수렴성을 보장한다. 이 프레임워크는 복잡한 비볼록 문제—특히 전력망과 같은 네트워크 시스템—에 대해 병렬 처리가 가능하고 수렴하는 해를 제공하며, 표준 ADMM보다 수렴 속도와 타당성에서 뛰어나면서도 강건성을 유지한다.

ABSTRACT

This paper aims to develop distributed algorithms for nonconvex optimization problems with complicated constraints associated with a network. The network can be a physical one, such as an electric power network, where the constraints are nonlinear power flow equations, or an abstract one that represents constraint couplings between decision variables of different agents. Despite the recent development of distributed algorithms for nonconvex programs, highly complicated constraints still pose a significant challenge in theory and practice. We first identify some difficulties with the existing algorithms based on the alternating direction method of multipliers (ADMM) for dealing with such problems. We then propose a reformulation that enables us to design a two-level algorithm, which embeds a specially structured three-block ADMM at the inner level in an augmented Lagrangian method (ALM) framework. Furthermore, we prove the global and local convergence as well as iteration complexity of this new scheme for general nonconvex constrained programs, and show that our analysis can be extended to handle more complicated multi-block inner-level problems. Finally, we demonstrate with computation that the new scheme provides convergent and parallelizable algorithms for various nonconvex applications, and is able to complement the performance of the state-of-the-art distributed algorithms in practice by achieving either faster convergence in optimality gap or in feasibility or both.

연구 동기 및 목표

• 네트워크 결합이 있는 비볼록, 다중 블록, 제약 최적화 문제에 대해 표준 ADMM가 수렴 보장을 제공하지 못하는 문제를 해결하기 위해.
• 에이전트 간 병렬 계산을 가능하게 하면서도 전역 수렴성과 타당성을 유지하는 분산 알고리즘을 개발하기 위해.
• 전력 시스템과 같은 물리적 네트워크에서 비볼록 제약을 다룰 때 기존 ADMM 기반 방법의 한계를 극복하기 위해.
• 최적성 갭과 타당성 수렴성 측면에서 최신 분산 알고리즘을 보완할 수 있는 확장 가능하고 강건한 프레임워크를 제공하기 위해.

제안 방법

• 복잡한 제약 조건을 분리하고 분산 해법을 가능하게 하기 위해 원래의 비볼록 문제를 이중 수준 구조로 재구성하기 위해.
• 에이전트 간 국소 변수의 병렬 업데이트를 허용하기 위해 내부 수준에서 특수 구조를 가진 삼블록 ADMM를 사용하기 위해.
• 전역 수렴성과 제약 결합을 다루기 위해 내부 ADMM를 외부 수준의 보완된 라그랑주 승수 방법(ALM)에 통합하기 위해.
• 반복값의 안정성과 수렴 성능 향상을 위해 내부 ADMM에 스ラ임 변수와 프록시항을 도입하기 위해.
• 잔차 임계값 기반으로 외부 ALM 단계에서 벌점 매개변수와 이중 변수를 동적으로 업데이트하여 수렴 속도를 가속화하기 위해.
• 외부 수준 업데이트를 트리거하기 위해 원시 타당성 잔차 노름 기반 수렴 기준을 적용하기 위해.

실험 결과

연구 질문

• RQ1 ADMM와 ALM을 조합한 이중 수준 알고리즘이 네트워크 결합이 있는 일반적인 비볼록 제약 최적화 문제에 대해 전역 수렴성을 달성할 수 있는가?
• RQ2 왜 표준 ADMM는 다중 블록 구조와 복잡한 제약 조건을 가진 비볼록 문제에서는 수렴하지 못하는가?
• RQ3 수렴 보장을 잃지 않으면서도 분산 비볼록 최적화에서 어떻게 병렬 처리를 달성할 수 있는가?
• RQ4 제안된 알고리즘은 최신 기법들에 비해 최적성 갭과 타당성 수렴성 측면에서 얼마나 빠른 수렴 속도를 보일 수 있는가?
• RQ5 이 알고리즘 프레임워크는 삼블록 이상의 더 복잡한 내부 수준 문제를 다룰 수 있도록 확장될 수 있는가?

주요 결과

• 이중 수준 알고리즘은 표준 ADMM가 실패할 수 있는 일반적인 비볼록 제약 최적화 문제에 대해 전역 수렴성과 국소 수렴성을 달성한다.
• 표준 ADMM보다 최적성 갭과 타당성 측면에서 더 빠른 수렴을 보이며, 특히 외부 수준 이중 변수 업데이트 이후에 두드러진다.
• 텐서 저질러프 근사 실험에서 이중 수준 방법은 ADMM-g보다 원시 잔차(타당성 이면)를 훨씬 더 빠르게 감소시켰으며, 약 500회의 내부 반복 이내에 고정밀 타당성에 도달했다.
• 저질러프 텐서 복원에서 상대 오차는 ADMM-g와 유사한 수준까지 수렴했으며, 초기에는 약간 느리게 수렴했지만 최적성 측면에서 유사한 성능를 보였다.
• 이 프레임워크는 강건하고 확장 가능하여 ADMM가 느린 수렴성이나 발산 문제를 겪는 복잡한 비볼록 문제를 다룰 수 있다.
• 특히 전력 시스템과 같은 실용적 응용 분야에서 수렴 조건이 실패할 경우 기존 문헌에서의 대체 전략보다 유의미한 대안을 제공한다.