[논문 리뷰] A Partition-Based Implementation of the Relaxed ADMM for Distributed Convex Optimization over Lossy Networks

Nicola Bastianello, Todescato, Marco외 2명|arXiv (Cornell University)|2018. 09. 26.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 9

한 줄 요약

이 논문은 각 에이전트의 국지 비용이 자신과 이웃 상태에 의존하는 손실 네트워크 상에서 분산 볼록 최적화를 위한 파artition 기반 완화된 ADMM(R-ADMM)을 제안한다. 비확장 연산자 이론과 완화된 Peaceman-Rachford 분할을 이용해 문제를 재구성함으로써, 알고리즘은 증명 가능한 수렴성과 i.i.d. 무작위 패킷 손실에 대한 강건성을 확보하며, 조정 가능한 완화 파rameter α와 벌점 ρ를 통해 수렴 속도가 향상된다.

ABSTRACT

In this paper we propose a distributed implementation of the relaxed Alternating Direction Method of Multipliers algorithm (R-ADMM) for optimization of a separable convex cost function, whose terms are stored by a set of interacting agents, one for each agent. Specifically the local cost stored by each node is in general a function of both the state of the node and the states of its neighbors, a framework that we refer to as `partition-based' optimization. This framework presents a great flexibility and can be adapted to a large number of different applications. We show that the partition-based R-ADMM algorithm we introduce is linked to the relaxed Peaceman-Rachford Splitting (R-PRS) operator which, historically, has been introduced in the literature to find the zeros of sum of functions. Interestingly, making use of non expansive operator theory, the proposed algorithm is shown to be provably robust against random packet losses that might occur in the communication between neighboring nodes. Finally, the effectiveness of the proposed algorithm is confirmed by a set of compelling numerical simulations run over random geometric graphs subject to i.i.d. random packet losses.

연구 동기 및 목표

• IoT 및 스마트 그리드와 같은 대규모이고 신뢰성 없는 네트워크에서 분산 볼록 최적화의 과제를 해결한다.
• 무작위 통신 실패(패킷 손실)가 발생하더라도 수렴성과 강건성을 유지하는 분산 알고리즘을 개발한다.
• 각 에이전트의 비용이 자신의 상태와 이웃 상태에 의존하는 유연한 최적화 프레임워크를 제안한다 — 이를 '분할 기반 최적화'라고 한다.
• 특화된 R-ADMM 재구성 방식을 활용해 메모리 및 통신 효율성을 높인다.
• 비확장 연산자 이론을 사용하여 무작위 패킷 손실 하에서도 알고리즘의 이론적 강건성을 증명한다.

제안 방법

• 보조 변수와 공식화 조건을 도입하여 분할 기반 최적화 문제를 완화된 ADMM에 적합한 형태로 재구성한다.
• 이중 문제에 완화된 Peaceman-Rachford 분할(R-PRS) 연산자를 적용하여, 비확장 연산자 이론을 통해 R-ADMM와 연결한다.
• 각 노드가 이웃과만 통신하는 분산 구현 방식을 도출하여 메모리 및 통신 오버헤드를 최소화한다.
• 수렴 속도를 가속화하기 위해 α ∈ (0,1)의 완화 파arameter α를 도입하며, α = 0.5일 경우 고전적 ADMM로 감소한다.
• 수렴 속도와 안정성을 제어하기 위해 ρ > 0의 벌점 파arameter를 사용하며, 손실 네트워크 하에서도 이론적 보장이 있다.
• 스토캐스틱 연산자 이론을 활용하여, 무작위 패킷 손실 하에서도 수렴이 유지됨을 공식적으로 증명한다.

실험 결과

연구 질문

• RQ1 무작위로 발생하는 i.i.d. 패킷 손실이 있는 통신 링크에서 분산 ADMM 기반 알고리즘이 수렴성을 유지할 수 있는가?
• RQ2 완화 파arameter α는 손실 네트워크 환경에서 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 벌점 파arameter ρ는 통신 실패 상황에서 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ4 분할 기반 최적화 프레임워크는 최소한의 통신 및 메모리 사용으로 분산 방식으로 효율적으로 구현될 수 있는가?
• RQ5 기존 ADMM이 수렴하지 못하는 상황에서도 R-ADMM이 신뢰성 없는 통신 하에서도 수렴함을 이론적으로 보장할 수 있는가?

주요 결과

• 제안된 분할 기반 R-ADMM는 i.i.d. 무작위 패킷 손실에 대해 증명 가능한 강건성을 보이며, 신뢰할 수 있는 통신과 비교해 수렴 영역이 그대로 유지된다.
• 무작위 기하 그래프에서의 수치 시뮬레이션을 통해 패킷 손실 확률 0.4 이하에서도 수렴이 확인되었으며, 수렴 영역에 변화가 없었다.
• 완화 파arameter α > 0.5(예: α = 0.75)일 경우 고전적 ADMM(α = 0.5)보다 더 빠른 수렴 속도를 보였으며, 안정 영역 0 < α < 1 내에서 성능 향상이 있었다.
• 벌점 파arameter ρ는 수렴 속도를 조절할 수 있으며, 높은 ρ 값일수록 시뮬레이션에서 오차 감소 속도가 빨라졌다.
• 분할된 구조를 활용함으로써, 단순한 R-ADMM 구현보다 통신 및 메모리 요구량을 낮출 수 있었다.
• 비확장 연산자 이론을 활용한 이론적 분석을 통해, α ∈ (0,1) 및 ρ > 0의 모든 값에서 수렴성이 보장되었으며, 무작위 통신 실패 하에서도 성립함을 입증했다.