[논문 리뷰] A Survey of ADMM Variants for Distributed Optimization: Problems, Algorithms and Features

Yu Yang, Xiaohong Guan외 4명|arXiv (Cornell University)|2022. 08. 07.

Advanced MIMO Systems Optimization인용 수 13

한 줄 요약

이 논문은 최근 10년간 분산 최적화를 위한 ADMM 변종에 대한 종합적인 서베이를 제공하며, 다중 블록, 결합된 목적함수, 비볼록, 공통 합의, 비동기 설정 등의 문제 유형별로 분류한다. 알고리즘 설계, 수렴 성질, 실용적 특성들을 분석하여 스마트 그리드, 플러딩 러닝, 기계 학습 분야의 응용을 위한 튜토리얼 및 연구 로드맵을 제시한다.

ABSTRACT

By coordinating terminal smart devices or microprocessors to engage in cooperative computation to achieve systemlevel targets, distributed optimization is incrementally favored by both engineering and computer science. The well-known alternating direction method of multipliers (ADMM) has turned out to be one of the most popular tools for distributed optimization due to many advantages, such as modular structure, superior convergence, easy implementation and high flexibility. In the past decade, ADMM has experienced widespread developments. The developments manifest in both handling more general problems and enabling more effective implementation. Specifically, the method has been generalized to broad classes of problems (i.e.,multi-block, coupled objective, nonconvex, etc.). Besides, it has been extensively reinforced for more effective implementation, such as improved convergence rate, easier subproblems, higher computation efficiency, flexible communication, compatible with inaccurate information, robust to communication delays, etc. These developments lead to a plentiful of ADMM variants to be celebrated by broad areas ranging from smart grids, smart buildings, wireless communications, machine learning and beyond. However, there lacks a survey to document those developments and discern the results. To achieve such a goal, this paper provides a comprehensive survey on ADMM variants. Particularly, we discern the five major classes of problems that have been mostly concerned and discuss the related ADMM variants in terms of main ideas, main assumptions, convergence behaviors and main features. In addition, we figure out several important future research directions to be addressed. This survey is expected to work as a tutorial for both developing distributed optimization in broad areas and identifying existing theoretical research gaps.

연구 동기 및 목표

• 최근 10년간 개발된 분산 최적화를 위한 ADMM 변종을系통적으로 분류하고 분석하기 위해.
• 문헌에서 다루어진 다섯 가지 주요 문제 유형—다중 블록, 결합된 목적함수, 비볼록, 공통 합의, 비동기 최적화—를 식별하고 명확히 하기 위해.
• 이러한 문제 유형들에 걸쳐 ADMM 변종의 주요 아이디어, 가정, 분해 전략, 수렴 행동 및 핵심 특성들을 검토하기 위해.
• 통신 지연에 대한 강건성, 유연한 통신, 비정확한 정보와의 호환성과 같은 실용적 이점들을 부각하기 위해.
• 비볼록 확장, 가속화, 비동기 구현, 강화 학습 및 플러딩 러닝과의 통합과 같은 핵심 미래 연구 방향을 식별하기 위해.

제안 방법

• 이 서베이는 다섯 가지 핵심 문제 유형—다중 블록, 결합된 목적함수, 비볼록, 공통 합의, 비동기 최적화—기반으로 ADMM 변종을 분류한다.
• 각 문제 유형에 대해, ADMM가 내재적으로 포함하는 분해 전략과 이중 상승 기반 메커니즘을 포함한 알고리즘 설계를 검토한다.
• 볼록성, 리프시츠 연속성, 유계 기울기 등의 다양한 가정 하에서 수렴 성질을 평가한다.
• 통신의灵活性, 지연에 대한 강건성, 비정확한 하위문제 해법 지원과 같은 기능을 포함한 분석을 수행한다.
• 주기적 통신, 부분적 클라이언트 참여, 비동기 업데이트 등의 구현 기법을 논의한다.
• 플러딩 러닝, 스마트 그라이드, 무선 통신 등 실제 응용 사례를 통합하여 실용적 유용성을 설명한다.

실험 결과

연구 질문

• RQ1 ADMM 변종은 다중 블록 및 결합된 목적함수 최적화 문제를 어떻게 다루며, 그 수렴 보장 조건은 무엇인가?
• RQ2 비볼록 환경에서 ADMM이 수렴할 수 있도록 하는 주요 알고리즘 수정 사항은 무엇이며, 기존 ADMM와는 어떻게 다를까?
• RQ3 ADMM 변종은 간헐적 또는 부분적 클라이언트 참여와 같은 다양한 통신 패턴을 어떻게 지원하며, 이는 수렴에 어떤 영향을 미치는가?
• RQ4 변동하는 업데이트 빈도와 통신 지연이 있는 비동기 컴퓨팅 환경에서 ADMM은 어떻게 적응할 수 있는가?
• RQ5 ADMM과 플러딩 러닝 및 다중 에이전트 강화 학습과 같은 새로운 패러다임 간의 상호보완적 관계는 무엇이며, 아직 남아 있는 과제는 무엇인가?

주요 결과

• ADMM 변종은 비볼록 문제를 성공적으로 확장했지만, 볼록 케이스에 비해 수렴 보장 조건이 일반적으로 약하다.
• 초과 완화, 비정확한 해법, 적응형 페널티 파라미터와 같은 기법을 통해 몇몇 ADMM 변종이 더 빠른 수렴 속도를 달성한다.
• 주기적 또는 부분적 클라이언트 참여를 적용한 ADMM는 플러딩 러닝에서 통신 오버헤드를 줄이면서도 수용 가능한 수렴 성능를 유지한다.
• 비동기 ADMM 변종은 변동하는 업데이트 빈도와 통신 지연에 강건성을 보이며, 실시간 분산 시스템에 적합하다.
• ADMM의 모oduular 구조와 낮은 반복 복잡도 덕분에 프라이버시 보장 기계 학습 프레임워크인 플러딩 러닝과 매우 호환된다.
• 강력한 성능에도 불구하고, 많은 ADMM 변종는 일반적인 비볼록 및 스토하스틱 설정 하에서 수렴 분석을 아직 보유하지 못하고 있어 핵심 연구 격차로 남아 있다.