[논문 리뷰] Distributed Stochastic Approximation for Solving Network Optimization Problems Under Random Quantization

Thinh T. Doan, Siva Theja Maguluri외 1명|arXiv (Cornell University)|2018. 10. 27.

Distributed Control Multi-Agent Systems참고 문헌 35인용 수 9

한 줄 요약

이 논문은 유한 대역폭 제약 조건 하에서 네트워크 최적화 문제를 해결하기 위해 무작위 델타 양자화를 사용하는 분산 확률적 근사 알고리즘을 제안한다. 네트워크 구조와 양자화 해상도에 따라 명시적인 수렴 속도 경계를 확립하여, 강凸 함수에 대해 유한 비트 양자화 하에서도 O(1/k^{1/3}) 수렴을 달성하며, 이는 이전 연구에서 점점 증가하는 대역폭이 필요로 했던 바를 초월하는 핵심적 진전이다.

ABSTRACT

We study distributed optimization problems over a network when the communication between the nodes is constrained, and so information that is exchanged between the nodes must be quantized. This imperfect communication poses a fundamental challenge, and this imperfect communication, if not properly accounted for, prevents the convergence of these algorithms. Our first contribution in this paper is to propose a modified consensus-based gradient method for solving such problems using random (dithered) quantization. This algorithm can be interpreted as a distributed variant of a well-known two-time-scale stochastic algorithm. We then study the convergence and derive upper bounds on the rates of convergence of the proposed method as a function of the bandwidths available between the nodes and the underlying network topology, for both convex and strongly convex objective functions. Our results complement for existing literature where such convergence and explicit formulas of the convergence rates are missing. Finally, we provide numerical simulations to compare the convergence properties of the distributed gradient methods with and without quantization for solving the well-known regression problems over networks, for both quadratic and absolute loss functions.

연구 동기 및 목표

• 정보 교환에 의한 유한 통신 대역폭으로 인한 제약 조건이 존재하는 네트워크에서의 분산 최적화 문제에 대응하기 위해.
• 일반적인 방법에서 수렴을 방해하는 양자화 오차가 존재하더라도 수렴을 유지하는 분산 알고리즘을 개발하기 위해.
• 네트워크 구조와 가용 대역폭(양자화 비트 수)에 따라 수렴 속도 경계를 명시적으로 도출하기 위해.
• 두 시간 척도 확률적 근사 프레임워크를 무작위 양자화를 적용한 분산 환경으로 확장하기 위해.
• 이론적 결과를 회귀 문제에 대한 수치 시뮬레이션을 통해 검증하기 위해.

제안 방법

• 양자화 오차를 줄이고 수렴 가능성을 보장하기 위해 무작위 델타 양자화를 사용하는 두 시간 척도 확률적 근사의 분산 변형을 제안한다.
• 노드들이 국소 기울기와 상태의 양자화된 추정치를 교환하는 공통의 기울기 방법을 도입한다.
• 두 시간 척도 프레임워크에서 추적와 평균화의 균형을 맞추기 위해 시간에 따라 변화하는 스텝 사이즈 α(t)와 β(t)를 사용하며, 이는 O(1/t^{1/3})로 감쇠한다.
• 네트워크 구조를 모델링하기 위해 혼합 행렬 W를 사용하며, 스펙트럼 성질(σ₂ < 1)을 통해 수렴을 보장한다.
• 제약 조건을 적용하기 위해 젠센의 부등식과 강凸성 조건을 활용하여 기대 하위최적성과 반복의 평균 제곱 오차 간의 관계를 유도한다.
• 재귀 부등식과 조화 수열 유사 적분 테스트를 사용하여 기대 오차의 상한을 유도한다.

실험 결과

연구 질문

• RQ1 유한 비트 무작위 양자화 하에서 대역폭 증가 없이도 분산 확률적 근사 알고리즘이 수렴할 수 있는가?
• RQ2 네트워크 구조와 양자화 해상도에 따라 이러한 알고리즘의 명시적 수렴 속도는 어떻게 되는가?
• RQ3 양자화 오차가 존재할 경우 스텝 사이즈의 선택은 수렴에 어떤 영향을 미치는가?
• RQ4 두 시간 척도 확률적 근사 프레임워크는 양자화된 통신을 가진 분산 환경에 적응시킬 수 있는가?
• RQ5 비양자화된 분산 기울기 방법과 비교해 볼 때, 제안된 방법은 수렴 속도와 정확도 측면에서 어떻게 다른가?

주요 결과

• 강凸 목적 함수에 대해 유한 비트 무작위 양자화 하에서도 제안된 알고리즘이 O(1/k^{1/3})의 수렴 속도를 달성하며, 네트워크 구조와 양자화 해상도에 명시적인 의존성을 보인다.
• 수렴 속도는 혼합 행렬의 두 번째로 큰 특이값 σ₂에 따라 결정되며, 더 잘 연결된 네트워크(더 작은 σ₂)일수록 더 빠른 수렴을 보인다.
• 기대 하위최적성은 O(1/(k+2))와 O(1/(k+2)^{1/3}) 스케일링 항으로 유계화되며, 초기 오차, 네트워크 구조, 양자화 파라미터에 따라 계수의 의존성이 있다.
• 이전 연구에서 반복마다 증가하는 비트 수가 필요로 했던 것과는 달리, 본 방법은 대역폭 증가 없이 진동적 최적점으로의 수렴을 보장한다.
• 수치 시뮬레이션을 통해 이론적 수렴 속도를 확인하였으며, 회귀 문제에서 비양자화 대비 양자화 조건 하에서도 향상된 수렴 행동을 보였다.
• 기존 문헌에서 누락된 바 있었던, 유한 비트 무작위 양자화 하에서의 분산 확률적 근사에 대한 첫 번째 명시적 수렴 속도 공식을 제공한다.