[논문 리뷰] Accelerated Hierarchical ADMM for Nonconvex Optimization in Multi-Agent Decision Making.

Xiaoxue Zhang, Jun Ma외 4명|arXiv (Cornell University)|2020. 11. 01.

Distributed Control Multi-Agent Systems인용 수 4

한 줄 요약

이 논문은 다중 에이전트 시스템, 특히 UAV 의사결정을 위해 비볼록 분산 최적화를 해결하기 위해 가속화된 장벽 방법을 통합한 계층적 세 블록 ADMM을 제안한다. 슬랙 변수를 도입하고 외부 루프의 ALM과 내부 루프의 반준거성 ADMM을 조합함으로써, 정류점으로의 수렴을 달성하고 기존 방법에 비해 계산 효율성을 크게 향상시킨다.

ABSTRACT

Distributed optimization is widely used to solve large-scale problems effectively in a localized and coordinated manner. Thus, it is noteworthy that the methodology of distributed model predictive control (DMPC) has become a promising approach to achieve effective outcomes; and particularly in decision-making tasks for multi-agent systems. However, the typical deployment of such DMPC frameworks would lead to involvement of nonlinear processes with a large number of nonconvex constraints. Noting all these attendant constraints and limitations, the development and innovation of a hierarchical three-block alternating direction method of multipliers (ADMM) approach is presented in the work here to solve the nonconvex optimization problem that arises for such a decision-making problem in multi-agent systems. Firstly thus, an additional slack variable is introduced to relax the original large-scale nonconvex optimization problem; such that the intractable nonconvex coupling constraints are suitably related to the distributed agents. Then, the approach with a hierarchical ADMM that contains outer loop iteration by the augmented Lagrangian method (ALM), and inner loop iteration by three-block semi-proximal ADMM, is utilized to solve the resulting relaxed nonconvex optimization problem. Additionally, it is shown that the appropriate desired stationary point exists for the procedures of the hierarchical stages for convergence in the algorithm. Next, the approximate optimization with a barrier method is then applied to accelerate the computational efficiency. Finally, a multi-agent system involving decision-making for multiple unmanned aerial vehicles (UAVs) is utilized to demonstrate the effectiveness of the proposed method in terms of attained performance and computational efficiency.

연구 동기 및 목표

• 결합된 제약 조건이 존재하는 다중 에이전트 의사결정에서 대규모 비볼록 최적화 문제를 해결하는 데 도전한다.
• 분산 모델 예측 제어(DMPC) 프레임워크에서 비볼록 결합 제약 조건의 계산 비가역성을 극복한다.
• 분산된 에이전트 간 협업을 지원하는 확장 가능하고 수렴 보장이 되는 비볼록 최적화 알고리즘을 개발한다.
• 계층적 ADMM 프레임워크 내에서 장벽 방법의 가속 기법을 통해 계산 효율성을 향상시킨다.
• 실세계 다중 UAV 의사결정 시나리오에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 원래의 비볼록 최적화 문제를 완화하기 위해 슬랙 변수를 도입하여 해결하기 어려운 결합 제약 조건을 분산 가능하고 다룰 수 있는 구성요소로 변환한다.
• 전역 수렴을 확보하기 위해 외부 루프에서 증강 라그랑주 방법(ALM)을 사용하는 계층적 ADMM 구조를 구현한다.
• 내부 루프에서 세 블록 반준거성 ADMM을 활용하여 분산 방식으로 완화된 하위문제를 해결한다.
• 수렴을 가속화하고 최적화 중 계산 효율성을 향상시키기 위해 근사 장벽 방법을 적용한다.
• 알고리즘의 구조와 적절한 스텝 사이즈 선택을 통해 정류점으로의 수렴을 보장한다.
• 에이전트 간 문제를 분해하여 각 에이전트가 국소 하위문제를 해결하면서 이중 변수와 일致 제약 조건을 통해 협력하도록 한다.

실험 결과

연구 질문

• RQ1 세 블록 업데이트를 갖는 계층적 ADMM 프레임워크는 다중 에이전트 시스템에서 비볼록 분산 최적화에 대해 수렴할 수 있는가?
• RQ2 슬랙 변수의 도입이 분산 의사결정에서 비볼록 결합 제약 조건의 해법 가능성에 어떤 영향을 미치는가?
• RQ3 제안된 ADMM 프레임워크에서 장벽 방법의 근사화가 계산 속도와 해의 품질에 어떤 영향을 미치는가?
• RQ4 비볼록성과 분산 협업에도 불구하고 알고리즘이 수렴 보장을 유지하는 정도는 어느 정도인가?
• RQ5 이 방법은 UAV 편대 제어와 같은 실세계 다중 에이전트 시나리오에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 계층적 ADMM는 ALM와 반준거성 업데이트를 결합하여 주어진 알고리즘 구조 하에서 정류점으로 수렴한다.
• 슬랙 변수의 도입이 비볼록 결합 제약 조건을 성공적으로 분리하여 분산 해법 절차를 가능하게 하였다.
• 장벽 방법의 근사화가 수렴 속도를 크게 가속화하여 해의 품질을 훼손하지 않으면서 계산 효율성을 향상시켰다.
• 다중 UAV 의사결정 시나리오에서 효과적인 성능을 보이며, 높은 해의 품질과 빠른 계산을 동시에 달성하였다.
• 비볼록성과 다중 에이전트 시스템에서 흔히 발생하는 대규모 문제 조건에서도 알고리즘이 안정성과 수렴성을 유지하였다.