[논문 리뷰] Distributed Time-Varying Stochastic Optimization and Utility-Based Communication

Andrea Simonetto, Leon Kester외 1명|arXiv (Cornell University)|2014. 08. 22.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 네트워크 내에서 시간에 따라 변화하는 스토케스틱 볼록 최적화 문제를 해결하기 위해 분산형, 이방형 스토케스틱 $\epsilon$-기울기 알고리즘을 제안한다. 노드들은 국소적인 불확실성의 노이즈가 섞이고 시간에 따라 변화하는 확률밀도함수(pdf)를 사용하여 국소 기울기를 계산한다. 이 알고리즘은 필요할 때만 pdf 업데이트를 트리거하는 유틸리티 기반 통신 정책을 도입하여 불필요한 데이터 교환을 줄이며, 단계 크기 $\alpha$, $\epsilon$, 문제의 변동성에 의존하는 오차 한계로 수렴함을 보장한다. 강한 볼록성과 리프시츠 기울기 조건 하에서 선형 수렴 속도를 확보한다.

ABSTRACT

We devise a distributed asynchronous stochastic epsilon-gradient-based algorithm to enable a network of computing and communicating nodes to solve a constrained discrete-time time-varying stochastic convex optimization problem. Each node updates its own decision variable only once every discrete time step. Under some assumptions (among which, strong convexity, Lipschitz continuity of the gradient, persistent excitation), we prove the algorithm's asymptotic convergence in expectation to an error bound whose size is related to the constant stepsize choice alpha, the variability in time of the optimization problem, and to the accuracy epsilon. Moreover, the convergence rate is linear. Then, we show how to compute locally stochastic epsilon-gradients that depend also on the time-varying noise probability density function (PDF) of the neighboring nodes, without requiring the neighbors to send such PDFs at each time step. We devise utility-based policies to allow each node to decide whether to send or not the most up-to-date PDF, which guarantee a given user-specified error level epsilon in the computation of the stochastic epsilon-gradient. Numerical simulations display the added value of the proposed approach and its relevance for estimation and control of time-varying processes and networked systems.

연구 동기 및 목표

• 제한된 이방형 통신 환경에서 분산 노드가 시간에 따라 변화하는 스토케스틱 볼록 최적화 문제를 해결할 수 있도록 한다.
• 사용자가 지정한 오차 수준 $\epsilon$을 유지하기 위해 필요할 때만 pdf 업데이트를 트리거하는 유틸리티 기반 정책을 설계하여 통신 오버헤드를 줄인다.
• 단계 크기 $\alpha$, $\epsilon$, 시간에 따라 변화하는 문제 역학에 따라 의존하는 오차 한계로 기대값 기반 선형 수렴을 보장한다.
• 각 노드가 국소적으로 이용 가능한 정보와 이웃으로부터 선택적으로 수신한 pdf만을 사용하여 국소 스토케스틱 $\epsilon$-기울기를 계산할 수 있도록 한다.

제안 방법

• 시간에 따라 변화하는 스토케스틱 볼록 최적화 문제에 대해 네트워크 내 노드 기반의 분산형, 이방형, 일정 단계 크기 $\epsilon$-기울기 알고리즘을 수립한다.
• 이웃 노드의 불확실성에 대한 시간에 따라 변화하는 pdf에 의존하는 국소 스토케스틱 $\epsilon$-기울기를 사용하며, 전체 pdf 전송이 필요하지 않다.
• 기대 오차 영향을 기반으로 언제 업데이트된 pdf를 전송할지 결정하는 유틸리티 기반 통신 정책을 도입하여 사용자가 지정한 $\epsilon$ 정확도를 확보한다.
• 리아푸노프 기반 분석을 활용하여 점근적 수렴을 기대값 기반으로 증명하며, 강한 볼록성과 리프시츠 기울기 조건 하에서 선형 수렴 속도를 확보한다.
• 유틸리티 지표 $\mathcal{U}_{\mathrm{S}}$와 $\mathcal{U}_{\mathrm{R}}$를 사용하여 기울기 추정 오차를 pdf 차이와 기울기 민감도에 따라 유도하고, 오차 전파를 유한하게 제어한다.
• 기울기 추정 오차를 유한하게 제한하기 위해 피터-폴 부등식을 적용하며, 향후 개선을 통해 더 날카운 오차 경계를 확보할 수 있다.

실험 결과

연구 질문

• RQ1 분산 네트워크 내 노드들이 최소한의 통신 오버헤드로 시간에 따라 변화하는 스토케스틱 볼록 최적화 문제를 어떻게 해결할 수 있는가?
• RQ2 어떤 유틸리티 기반 통신 정책이 국소 기울기 추정 오차를 사용자가 정의한 오차 허용 범위 $\epsilon$ 이내로 유지하면서도 지속적인 pdf 교환을 요구하지 않도록 보장하는가?
• RQ3 불확실한 분포를 가진 시간에 따라 변화하는 설정에서 이방형, 일정 단계 크기 스토케스틱 기울기 방법에 대해 어떤 수렴 보장을 제공할 수 있는가?
• RQ4 기울기 추정 오차는 네트워크를 통해 어떻게 전파되며, 어떤 조건에서 이 오차가 알려진 수준 이내로 제한되는가?
• RQ5 시간에 따라 변화하는 문제 역학과 이방형 업데이트 조건 하에서 기대값 기반 선형 수렴을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 일정 단계 크기 $\alpha$, 오차 허용 범위 $\epsilon$, 문제의 시간 변화성에 따라 의존하는 오차 한계로 기대값 기반 선형 수렴을 달성한다.
• 오차 한계는 $\alpha$, $\epsilon$, 문제의 최적 해가 시간에 따라 변화하는 속도에 대한 명시적 함수로 기술된다.
• 유틸리티 기반 통신 정책은 필요할 때만 pdf 업데이트를 트리거하여 국소 $\epsilon$-기울기 추정 오차가 $\epsilon$ 이내로 유지됨을 보장한다.
• 수렴 분석 결과, 오래된 또는 정확하지 않은 pdf로 인한 기울기 추정 오차는 $\mathcal{U}_{\mathrm{S}}$와 $\mathcal{U}_{\mathrm{R}}$에 의존하는 유틸리티 지표를 통해 유한하게 제어되며, 이는 pdf 차이와 기울기 민감도에 기반한다.
• 수치 시뮬레이션은 스마트 그리드 및 협동 제어와 같은 분야에서 시간에 따라 변화하는 과정의 추정 및 제어에 알고리즘이 효과적임을 확인한다.
• 강한 볼록성과 리프시츠 연속 기울기 조건 하에서 이방형 통신과 시간에 따라 변화하는 불확실성 분포 조건 하에서도 수렴성이 유지되며, 이는 이론적 보장이 있다.