[논문 리뷰] Exact Diffusion for Distributed Optimization and Learning --- Part I: Algorithm Development

Kun Yuan, Bicheng Ying외 2명|arXiv (Cornell University)|2017. 02. 16.

Distributed Control Multi-Agent Systems참고 문헌 50인용 수 16

한 줄 요약

이 논문은 비대칭 왼쪽-스토케스틱 조합 행렬에 대해 정확한 수렴을 달성하는 분산 최적화 알고리즘인 Exact Diffusion을 소개한다. 기존의 공통화 및 확산 방법에서 유래하는 편향을 극복하며, 정확한 수렴을 보장한다. 문제를 정벌 최적화로 재구성하고 대각선 가중치를 갖는 순차적 구성 방식을 사용함으로써, 이중 스토케스틱 행렬이 필요로 하지 않으며, 전역 최소화점 수렴을 보장한다. 이는 네트워크 구조의 적용 범위를 넓히고, EXTRA보다 더 넓은 안정성과 향상된 수렴 성능을 제공한다.

ABSTRACT

This work develops a distributed optimization strategy with guaranteed exact convergence for a broad class of left-stochastic combination policies. The resulting exact diffusion strategy is shown in Part II to have a wider stability range and superior convergence performance than the EXTRA strategy. The exact diffusion solution is applicable to non-symmetric left-stochastic combination matrices, while many earlier developments on exact consensus implementations are limited to doubly-stochastic matrices; these latter matrices impose stringent constraints on the network topology. The derivation of the exact diffusion strategy in this work relies on reformulating the aggregate optimization problem as a penalized problem and resorting to a diagonally-weighted incremental construction. Detailed stability and convergence analyses are pursued in Part II and are facilitated by examining the evolution of the error dynamics in a transformed domain. Numerical simulations illustrate the theoretical conclusions.

연구 동기 및 목표

• 비대칭 왼쪽-스토케스틱 조합 정책의 광범위한 클래스에 대해 정확한 수렴을 달성하는 분산 최적화 전략을 개발하는 것.
• 기존의 공통화 및 확산 전략이 구조적 비대칭성으로 인해 진짜 최소화점의 O(μ²)-근처로 수렴하는 데서 비롯되는 제약을 극복하는 것.
• 이중 스토케스틱 또는 오른쪽-스토케스틱 행렬이 필요로 하지 않도록 하여 네트워크 구조에 대한 제약 조건을 완화하는 것.
• 비대칭 네트워크 구조를 지원하면서도 안정성과 빠른 수렴 성능를 유지하는 프레임워크를 구축하는 것.
• EXTRA와 같은 기존 방법보다 성능이 향상된 새로운 종류의 분산 알고리즘에 대한 이론적 기초를 마련하는 것.

제안 방법

• 정확한 수렴을 보장하기 위해 집합 최적화 문제를 정벌 최적화 문제로 재구성함으로써 알고리즘을 유도한다.
• 업데이트 동역학을 균형 잡고 편향을 제거하기 위해 대각선 가중치를 갖는 순차적 구성 방식을 사용한다.
• 이중 스토케스틱이 필요로 하지 않는 왼쪽-스토케스틱 조합 행렬을 사용하여 네트워크 설계의 유연성을 높인다.
• 오차 동역학의 진화를 연구하기 위해 오차 도메인을 변환하여 수렴 분석을 수행한다.
• Part II에서 안정성 및 수렴 분석을 통해 특성 다항식의 Jury 안정성 기준과 고유값 분석을 사용하여 방법을 검증한다.
• 표준 확산 또는 공통화와 유사한 대칭적 업데이트 성질을 유지하지만, 정확한 수렴을 보장함으로써 표준 확산 또는 공통화와 차별화된다.

실험 결과

연구 질문

• RQ1 이중 스토케스틱 조합 행렬이 필요로 하지 않더라도 분산 최적화 알고리즘이 정확한 수렴을 달성할 수 있는가?
• RQ2 비대칭 네트워크 구조에서 제안된 Exact Diffusion 전략은 어떻게 안정성과 수렴 성능를 유지하는가?
• RQ3 왼쪽-스토케스틱 행렬과 이중 스토케스틱 행렬을 사용할 경우 수렴 편향과 안정성에 어떤 영향을 미치는가?
• RQ4 Transformed 도메인에서 Exact Diffusion 알고리즘의 오차 동역학은 어떻게 행동하며, 수렴 속도는 무엇에 의해 결정되는가?
• RQ5 이 알고리즘은 모든 스텝 사이즈 μ에 대해 안정적이고 수렴 가능한가, 아니면 내재된 제약 조건이 존재하는가?

주요 결과

• Exact Diffusion 알고리즘은 진짜 전역 최소화점 $ w^o $로 정확한 수렴을 달성하며, 표준 공통화 및 확산 방법에서 발생하는 O(μ²) 편향을 제거한다.
• 이 방법은 이중 스토케스틱 행렬이 요구되지 않는 비대칭 왼쪽-스토케스틱 조합 행렬에 적용 가능하여, 이중 스토케스틱 행렬이 요구하는 엄격한 네트워크 구조 제약 조건을 제거한다.
• Part II에서 수행된 안정성 및 수렴 분석 결과, Exact Diffusion는 EXTRA 알고리즘보다 더 넓은 안정성 범위와 뛰어난 수렴 성능를 보인다.
• 오차 동역학은 7차 특성 다항식에 대해 Jury 안정성 기준을 적용하여 분석되었으며, 이는 모든 스텝 사이즈 μ에 대해 시스템이 불안정하다는 것을 증명한다. 즉, 모든 μ에 대해 수렴이 보장되지 않는다는 의미이다.
• 모든 안정성 조건의 교차점이 공집합임을 입증하여, 모든 조건을 동시에 만족하는 μ가 존재하지 않음을 증명한다. 이는 테스트 범위 내에서 어떤 μ에 대해서도 시스템이 안정하지 않음을 의미한다.
• 분석 결과, 초기 조건으로 인해 고유값 λ = 1이 수렴에 영향을 주지 않으며, 안정성은 다항식 D(λ)의 근들에 의해 결정됨을 확인한다.