[논문 리뷰] Distributed and Inexact Proximal Gradient Method for Online Convex Optimization

Nicola Bastianello, Emiliano Dall’Anese|arXiv (Cornell University)|2020. 01. 03.

Distributed Control Multi-Agent Systems참고 문헌 34인용 수 10

한 줄 요약

이 논문은 네트워크 내 시간에 따라 변화하는 복합 볼록 최적화 문제를 위한 분산형, 온라인, 비정확한 프락시멀 그래디언트 방법(DPGM)을 제안한다. 노드들은 국소적 업데이트와 통신을 통해 최적 해를 공동으로 추적한다. 이 방법은 비정확한 그래디언트 및 프락시멀 평가에도 불구하고 진정한 최적 궤적의 이웃으로 선형 수렴을 보장하며, 시간에 따라 변화하는 비용과 노이즈에 대해 약한 조건 하에 안정적인 선형 시스템에 의해 추적 오차가 유계임을 보장한다.

ABSTRACT

This paper develops and analyzes an online distributed proximal-gradient method (DPGM) for time-varying composite convex optimization problems. Each node of the network features a local cost that includes a smooth strongly convex function and a non-smooth convex function, both changing over time. By coordinating through a connected communication network, the nodes collaboratively track the trajectory of the minimizers without exchanging their local cost functions. The DPGM is implemented in an online fashion, that is, in a setting where only a limited number of steps are implemented before the function changes. Moreover, the algorithm is analyzed in an inexact scenario, that is, with a source of additive noise, that can represent e.g. communication noise or quantization. It is shown that the tracking error of the online inexact DPGM is upper-bounded by a convergent linear system, guaranteeing convergence within a neighborhood of the optimal solution.

연구 동기 및 목표

• 스트리밍 데이터나 동적 시스템 파라미터로 인해 시간에 따라 변화하는 비용 함수를 가진 네트워크에서 분산형 온라인 최적화의 과제를 해결한다.
• 로컬 비용 함수를 공유하지 않고도, 국소 계산과 이웃 간 통신만을 사용하여 최적 해 궤적을 공동으로 추적할 수 있도록 한다.
• 실세계 네트워크에서 흔한 노이즈가 있는 그래디언트, 근사된 프락시멀 연산자, 상태 전송 오차 등의 비정확성에 대해 알고리즘을 분석한다.
• 시간에 따라 변화하는 목표 함수와 비이deal한 알고리즘 업데이트가 존재하는 상황에서 추적 오차의 이론적 수렴 보장을 수립한다.
• 기존의 분산형 프락시멀 그래디언트 방법을 온라인, 시간에 따라 변화하는, 비정확한 설정으로 확장하는 통합 프레임워크를 제공하며, 증명 가능한 성능 한계를 제시한다.

제안 방법

• 각 노드가 매끄럽고 강하게 볼록인 함수와 비매끄럽고 볼록인 함수의 합을 최소화하는 분산 복합 최적화 문제를 수립하며, 시간에 따라 변화하는 매개변수를 포함한다.
• 시간 간격당 제한된 수의 단계를 수행하는 온라인 DPGM을 설계하여 변화하는 목표 함수에 실시간으로 적응할 수 있도록 한다.
• 노이즈가 있는 그래디언트 추정, 근사된 프락시멀 연산자 평가, 통신 또는 양자화로 인한 상태 노이즈의 세 가지 형태의 비정확성을 도입한다.
• 알고리즘 재귀식에 오차 항을 도입하여 오차의 진화를 라플라스 유사 분석을 통해 유도한다.
• 원소 변수의 편차, 일치 오차, 그래디언트 추적 오차를 포함하는 상태 벡터를 정의하고, 이들의 진화가 안정한 행렬을 가진 선형 시스템에 의해 지배됨을 보여준다.
• 행렬 노름 분석과 삼각 부등식을 사용하여 기대 추적 오차를 초기 오차, 시간 변화 및 비정확성 원천의 함수로 유계화한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 복합 볼록 최적화 문제에서 시간 간격당 제한된 계산 단계만을 사용하는 분산형 프락시멀 그래디언트 방법이 최적 해 궤적을 추적할 수 있는가?
• RQ2 그래디언트 평가, 프락시멀 연산자 계산, 상태 통신에서의 비정확성이 분산형 온라인 알고리즘의 수렴성과 추적 성능에 미치는 영향은 어떠한가?
• RQ3 알고리즘이 시간에 따라 변화하는 목표 함수와 비이deal한 업데이트 상태에서 작동할 때 추적 오차의 이론적 상한은 무엇인가?
• RQ4 최적 궤적에 대한 모델을 가정하지 않고도 비정확성과 시간에 따라 변화하는 동역학 하에서 최적 궤적의 이웃으로 선형 수렴을 보장할 수 있는가?
• RQ5 각 시간 단계에서 온난 시작(warm-starting) 전략을 사용할 경우 오차 전파와 전체 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 온라인 비정확한 DPGM의 추적 오차는 안정한 선형 시스템의 상태에 의해 유계지며, 이는 최적 해 궤적의 이웃으로의 수렴을 보장한다.
• 기대 추적 오차는 유계된 이웃으로 선형 수렴하며, 이 이웃의 크기는 비용 함수의 시간 변화와 비정확성 수준에 따라 달라진다.
• 오차 상한은 원소 편차, 일치 오차, 그래디언트 추적 오차를 모두 포함하는 3요소 상태 벡터를 사용하여 유도되었으며, 시스템 행렬의 스펙트럼 반경은 1보다 작다.
• 오차 항이 유계이고 스텝 사이즈 및 네트워크 가중치가 적절히 선택된 경우, 비정확성 존재하에서도 선형 수렴이 달성된다.
• 온난 시작 전략은 각 시간 단계에서의 초기 오차를 크게 감소시켜 냉각 시작(Cold start) 대비 전체 수렴 속도를 향상시킨다.
• 기대 추적 오차에 대한 이론적 상한은 기하급수 형태로 표현되며, 상한의 점근적 최대값은 (1 - δ^M_o)에 반비례하는 항으로 유계지며, 여기서 δ < 1이고 M_o는 시간 간격당 단계 수이다.