[논문 리뷰] Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I

Sandeep Kumar, Ketan Rajawat외 1명|arXiv (Cornell University)|2019. 07. 21.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 4

한 줄 요약

이 논문은 대규모 비볼록 최적화 문제를 해결하기 위해 분산형, 비정확한 연속 볼록 근사 ADMM 프레임워크(DISC-ADMM)를 제안한다. 이 프레임워크는 오차, 지연, 이면성에 대해 매우 민첩하게 대응할 수 있으며, 약한 가정 하에 1차 수렴 속도 보장을 수립한다. 수렴 분석 결과, 반복값이 총 오차 ET나 소음으로 인한 비정확한 업데이트에서 유도된 𝜖-정류점으로 수렴함을 보여주며, 𝜖 = O(ET + 1/T)임을 입증한다.

ABSTRACT

In this two-part work, we propose an algorithmic framework for solving non-convex problems whose objective function is the sum of a number of smooth component functions plus a convex (possibly non-smooth) or/and smooth (possibly non-convex) regularization function. The proposed algorithm incorporates ideas from several existing approaches such as alternate direction method of multipliers (ADMM), successive convex approximation (SCA), distributed and asynchronous algorithms, and inexact gradient methods. Different from a number of existing approaches, however, the proposed framework is flexible enough to incorporate a class of non-convex objective functions, allow distributed operation with and without a fusion center, and include variance reduced methods as special cases. Remarkably, the proposed algorithms are robust to uncertainties arising from random, deterministic, and adversarial sources. The part I of the paper develops two variants of the algorithm under very mild assumptions and establishes first-order convergence rate guarantees. The proof developed here allows for generic errors and delays, paving the way for different variance-reduced, asynchronous, and stochastic implementations, outlined and evaluated in part II.

연구 동기 및 목표

• 빅데이터 응용 분야에서 발생하는 대규모 비볼록 문제를 위한 확장성 있고 분산된 최적화 프레임워크를 개발하기 위해.
• 통신 지연, 비정확한 기울기, 이면성과 같은 실용적 과제를 분산 네트워크 환경에서 해결하기 위해.
• ADMM, SCA, 비정확 기울기 방법 등 기존 방법들을 하나의 견고한 프레임워크에 통합하고 일반화하기 위해.
• 임의의 오차 시퀀스(스토케스틱, 악성, 결정론적 원인 포함) 하에서도 수렴 보장을 확립하기 위해.
• 중앙집중형(융합 센터가 있는 경우)과 분산형(융합 센터가 없는 경우) 네트워크 아키텍처 모두에서의 유연한 구현을 가능하게 하기 위해.

제안 방법

• 알고리즘은 ADMM 방식의 업데이트와 연속 볼록 근사(ScA)를 결합하여 비볼록 성분을 볼록 대체 함수로 근사함으로써 처리한다.
• 일반화된 비정확 기울기 방법(IGM)을 통해 비정확한 기울기와 업데이트를 통합함으로써 반복값에서 임의의 오차 시퀀스를 허용한다.
• 융합 센터가 있거나 없거나의 상황 모두에서 분산 구현을 지원하며, 중앙집중형 및 분산형 운영 모두 가능하다.
• 기울기와 업데이트의 오차를 일반적인 시퀀스로 모델링하고, 수렴 분석은 총 누적 오차 ET 기반으로 수행된다.
• 핵심 구성 요소로는 이중 변수에 대한 프록시미티 유사 업데이트와 노드 및 시간에 걸친 오차 전파 모델이 포함되어 있다.
• 이론적 분석은 라파노프 함수와 오차 누적 한계를 활용하여, ET 및 T−1에 의존하는 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 비정확한 기울기와 업데이트에서 임의의 비정확성 존재 하에 분산형 ADMM 기반 알고리즘이 비볼록 문제에 대해 수렴할 수 있는가?
• RQ2 지연, 누락된 업데이트, 통신 노이즈가 분산 비볼록 최적화에서 수렴에 어떤 영향을 미치는가?
• RQ3 이 프레임워크는 분산된, 비정확한 기울기 방법, 변동성 감소, 스트로크스틱, 이면성 방법을 하나의 수렴 분석에 통합할 수 있는가?
• RQ4 총 오차 에너지 ET와 반복 횟수 T 기반으로 알고리즘의 수렴 속도는 어떻게 되는가?
• RQ5 악성, 랜덤, 결정론적 오차 원천이 존재하더라도 알고리즘이 수렴 보장을 유지하는가?

주요 결과

• 알고리즘은 비정확한 업데이트에서 기인한 누적 오차 ET를 기반으로 𝜖 = O(ET + 1/T) 수준의 𝜖-정류점으로 1차 수렴을 달성한다.
• 수렴 속도는 스트로크스틱, 악성, 결정론적 오차를 포함한 임의의 오차 시퀀스에 대해 강건하며, 비편향성이나 유한한 분산을 요구하지 않는다.
• 이 프레임워크는 이면성 및 지연된 업데이트, 누락된 업데이트 모두를 허용하나, 수렴 보장에 영향을 주지 않는다.
• 분석 결과, 하위기울기 잔여항의 기대 제곱 노름이 O(ET + 1/T) 속도로 퇴화됨을 확인하여 오차 누적 하에서 정류성의 확보를 입증한다.
• 기존의 스트로크스틱 및 비정확한 ADMM 변종을 일반화하며, 변동성 감소 또는 양자화 최적화를 위한 새로운 알고리즘으로 특화할 수 있다.
• 중앙집중형 및 분산형 네트워크 아키텍처 모두에서 수렴 결과가 유지됨을 입증하여 배포 유연성을 입증한다.