[논문 리뷰] Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization

Nicola Bastianello, Andrea Simonetto외 1명|arXiv (Cornell University)|2020. 09. 17.

Distributed Control Multi-Agent Systems참고 문헌 39인용 수 11

한 줄 요약

이 논문은 시간에 따라 변화하는 볼록 최적화를 위한 분산형 예측-수정 ADMM 알고리즘을 제안한다. 이 알고리즘은 이중 정규화를 통해 선형 수렴성을 확보하고 미래의 비용 변화를 예측함으로써, 동적 환경에서 비정확한 기울기 방법과 정확한 이중 분해 방법보다 더 낮은 점점 감소하는 오차와 공감 위반을 달성한다.

ABSTRACT

This paper introduces a dual-regularized ADMM approach to distributed, time-varying optimization. The proposed algorithm is designed in a prediction-correction framework, in which the computing nodes predict the future local costs based on past observations, and exploit this information to solve the time-varying problem more effectively. In order to guarantee linear convergence of the algorithm, a regularization is applied to the dual, yielding a dual-regularized ADMM. We analyze the convergence properties of the time-varying algorithm, as well as the regularization error of the dual-regularized ADMM. Numerical results show that in time-varying settings, despite the regularization error, the performance of the dual-regularized ADMM can outperform inexact gradient-based methods, as well as exact dual decomposition techniques, in terms of asymptotical error and consensus constraint violation.

연구 동기 및 목표

• 제한된 계산 및 통신 조건에서 시간에 따라 변화하는 분산 최적화 환경에서 최적 해를 추적하는 데 도전하는 문제를 해결하기 위해.
• 새로운 데이터가 도착할 때 오류를 수정하고 미래의 비용 함수 변화를 예측하는 분산 알고리즘을 개발하기 위해.
• 이중 정규화를 통해 시간에 따라 변화하는 설정에서 수렴 속도를 향상시키고 점점 감소하는 오차를 줄이기 위해.
• 정규화가 정확도를 희생시키지 않고도 동적 최적화에서 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 강한 볼록성을 보장하기 위해 이중 문제에 이차 정규화 항을 추가함으로써 이중 정규화된 ADMM 프레임워크를 제안한다.
• 노드들이 과거 관측치를 바탕으로 미래의 국소 비용을 예측하여 해의 궤적 변화를 사전에 예측하는 예측-수정 메커니즘을 통합한다.
• 지역 변수와 보조 다리 변수를 사용하여 시간에 따라 변화하는 문제를 공감 기반 재구성한다.
• 정규화된 이중 문제를 분산적으로 해결하기 위해 Peaceman-Rachford 분할법을 적용하며, 이는 근처 노드 간의 통신만으로도 노드 수준의 업데이트를 가능하게 한다.
• 그래프의 구조와 이웃 간 통신만을 이용하여 원래 변수와 이중 변수의 분산 업데이트 규칙을 유도한다.
• 수렴 속도와 해 정확도 사이의 균형을 맞추기 위해 정규화 파라미터 ϵ을 사용하며, 정규화 오차에 대한 이론적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 ADMM에서 이중 정규화가 시간에 따라 변화하는 분산 최적화에서 수렴 속도를 향상시키고 점점 감소하는 오차를 줄일 수 있는가?
• RQ2 예측-수정 프레임워크는 표준 ADMM에 비해 동적 분산 환경에서 추적 성능을 향상시킬 수 있는가?
• RQ3 이중 정규화된 ADMM의 정규화 오차가 최종 해 품질과 공감 위반에 미치는 영향은 어떠한가?
• RQ4 추적 정확도와 수렴 속도 측면에서 제안된 방법이 비정확한 기울기 방법과 정확한 이중 분해 방법을 초월할 수 있는가?

주요 결과

• 정규화로 인해 강한 볼록성이 유도되므로, 표준 ADMM과 달리 이중 정규화된 ADMM는 선형 수렴성을 확보한다.
• 정규화 오차는 유계이며, 정규화 파라미터 ϵ이 증가할수록 감소하여 진정한 이중 해에 가까워짐을 보장한다.
• 수치 결과는 제안된 방법이 비정확한 기울기 방법과 정확한 이중 분해 방법보다 더 낮은 점점 감소하는 오차와 공감 위반을 달성함을 보여준다.
• 정확한 공감 제약 조건을 강제하지는 않지만, 이중 정규화된 ADMM는 경쟁 방법들보다 더 나은 공감 거리를 유지한다.
• 성능 향상은 정규화로 인한 더 빠른 수렴 덕분이며, 이는 시간에 따라 변화하는 설정에서 유계 추적 오차를 감소시킨다.
• 추적 정확도 측면에서 원래 변수 정규화(예: (1/2α)x⊤(I−W)x)보다도 이중 정규화가 더 뛰어난 성능을 보이며, 동적 상황에서 이중 정규화의 우수성을 입증한다.