[논문 리뷰] Distributed Linearized Alternating Direction Method of Multipliers for Composite Convex Consensus Optimization

Necdet Serhat Aybat, Zi Wang외 2명|arXiv (Cornell University)|2015. 12. 26.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 비방향 네트워크에서 복합 볼록 공통 최적화를 위한 선형화된 ADMM 기반 분산 프록시멀 그래디언트 방법인 DPGA를 제안한다. 각 에이전트는 국소 프록시멀 매핑과 기울기를 계산하고 이웃과 통신하며, 스트로스틱 변종인 SDPGA를 통해 노이즈가 있는 기울기 조건에서도 하위최적성과 공통화 위반에 대해 $\mathcal{O}(1/t)$ 수렴 속도를 달성한다.

ABSTRACT

Given an undirected graph $\mathcal{G}=(\mathcal{N},\mathcal{E})$ of agents $\mathcal{N}=\{1,\ldots,N\}$ connected with edges in $\mathcal{E}$, we study how to compute an optimal decision on which there is consensus among agents and that minimizes the sum of agent-specific private convex composite functions $\{Φ_i\}_{i\in\mathcal{N}}$ while respecting privacy requirements, where $Φ_i riangleq ξ_i + f_i$ belongs to agent-$i$. Assuming only agents connected by an edge can communicate, we propose a distributed proximal gradient method DPGA for consensus optimization over both unweighted and weighted static (undirected) communication networks. In one iteration, each agent-$i$ computes the prox map of $ξ_i$ and gradient of $f_i$, and this is followed by local communication with neighboring agents. We also study its stochastic gradient variant, SDPGA, which can only access to noisy estimates of $ abla f_i$ at each agent-$i$. This computational model abstracts a number of applications in distributed sensing, machine learning and statistical inference. We show ergodic convergence in both sub-optimality error and consensus violation for DPGA and SDPGA with rates $\mathcal{O}(1/t)$ and $\mathcal{O}(1/\sqrt{t})$, respectively.

연구 동기 및 목표

• 에이전트들이 개인의 복합 볼록 함수의 합을 최소화하면서 전역적 의사결정에 공통화를 이룰 수 있도록 하는 네트워크에서의 분산 최적화 문제에 도전한다.
• 전체 데이터 공유가 필요한 중심화된 접근 방식의 한계를 극복하여 기밀성 침해와 높은 통신 및 메모리 비용을 방지한다.
• 에이전트가 전역 네트워크 파라미터에 의존하지 않고 이웃 에이전트 간 국소 통신만으로도 작동하는 완전히 분산된 알고리즘을 개발한다.
• 특히 비미분 부분의 프록시멀 매핑이 효율적으로 계산 가능하다는 최소한의 가정 하에 증명 가능한 수렴 속도를 확보한다.
• 스토하스틱 기울기를 처리할 수 있도록 방법을 확장하여 노이즈가 있거나 스트리밍 데이터가 존재하는 환경에 적용 가능하게 한다.

제안 방법

• 선형화된 ADMM 기반의 분산 프록시멀 그래디언트 알고리즘인 DPGA를 제안하며, 각 에이전트는 국소 계산(함수 $\xi_i$의 프록시멀 매핑과 $f_i$의 기울기 계산)을 수행한 후 이웃과 통신한다.
• 수렴 제약 조건을 분리하고 하위문제를 해결하지 않고도 효율적인 국소 업데이트를 가능하게 하기 위해 선형화된 증강 라그랑주 형식을 사용한다.
• 전역 스펙트럼 성질에 의존하지 않고 국소 네트워크 구조(예: 차수 및 간선 수)에 따라 결정되는 페널티 파라미터 $\gamma$를 도입한다.
• 노이즈가 있는 기울기 추정치를 사용하는 스트로스틱 변종인 SDPGA를 설계하며, 감소하는 스텝 사이즈 규칙 하에 수렴성을 유지한다.
• 중첩 반복이 없는 단일 루프 구조를 구현하여 구현을 단순화하고 통신 오버헤드를 줄인다.
• 알고리즘이 완전히 분산되도록 보장: 에이전트는 전역 네트워크 구조를 알 필요 없이 이웃만 안다면 된다.

실험 결과

연구 질문

• RQ1 전역 네트워크 지식이 필요 없이 복합 볼록 공통 최적화에 대해 빠른 수렴을 달성할 수 있는 분산 알고리즘을 설계할 수 있는가?
• RQ2 선형화된 ADMM 기반의 분산 프록시멀 그래디언트 방법의 수렴 속도는 반복 횟수와 네트워크 구조에 따라 어떻게 변화하는가?
• RQ3 노이즈가 있는 기울기 추정치만 이용 가능한 경우 알고리즘의 스트로스틱 변종 성능은 어떠한가?
• RQ4 네트워크 연결성(예: 원형, 소월드, 완전 그래프)은 분산 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 통신 라운드 수를 최소화하고 국소 계산 및 통신을 통해 기밀성을 유지하면서도 빠른 수렴을 유지할 수 있는가?

주요 결과

• DPGA는 결정론적 설정에서 하위최적성과 공통화 위반에 대해 $\mathcal{O}(1/t)$ 수렴 속도를 달성한다.
• SDPGA는 노이즈가 있는 기울기 추정치 하에서 하위최적성과 공통화 위반에 대해 $\mathcal{O}(1/\sqrt{t})$ 수렴 속도를 달성한다.
• 알고리즘은 각 반복마다 단 한 번의 통신 라운드만 필요하므로, ADMM(2라운드) 및 SADMM(4라운드)보다 더 통신 효율적이다.
• 실험 결과는 네트워크 연결성이 높아질수록(예: 원형에서 소월드 또는 완전 그래프로 전환) 특히 공통화 위반 측면에서 수렴 속도 향상을 보임을 보여준다.
• 이론적 $\mathcal{O}(1/\sqrt{t})$ 속도에 비해 SDPGA는 실질적으로 예상보다 더 잘 작동함을 확인하여, 실생활에서는 이론적 경계가 타이트하지 않을 수 있음을 시사한다.
• 알고리즘은 $\mathcal{O}(\epsilon^{-1})$ 반복 내에 $\epsilon$-최적 및 $\epsilon$-가능해를 도출하며, 노드당 총 $\mathcal{O}(\epsilon^{-1})$회의 통신을 요구하여 대규모 네트워크에 대해 확장 가능하고 실용적이다.