[논문 리뷰] Distributed Online Convex Optimization with Improved Dynamic Regret

Yan Zhang, Robert Ravier외 2명|arXiv (Cornell University)|2019. 11. 12.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 6

한 줄 요약

이 논문은 시간에 따라 변화하는 볼록 최적화 문제를 위한 분산 온라인 경사하강법 알고리즘을 제안하며, 기울기 추적 기법을 활용하여 시간 간격 T에 의존하지 않는 동적 회귀 한계를 달성한다. 주요 기여는 최적점에서의 누적 기울기 변화를 측정하는 새로운 정규성 척도를 도입하여, 특히 장기 간격 또는 선형으로 변화하는 설정에서 이전의 경로 길이 척도보다 더 날카운 회귀 한계를 제공한다는 점이다.

ABSTRACT

In this paper, we consider the problem of distributed online convex optimization, where a group of agents collaborate to track the global minimizers of a sum of time-varying objective functions in an online manner. Specifically, we propose a novel distributed online gradient descent algorithm that relies on an online adaptation of the gradient tracking technique used in static optimization. We show that the dynamic regret bound of this algorithm has no explicit dependence on the time horizon and, therefore, can be tighter than existing bounds especially for problems with long horizons. Our bound depends on a new regularity measure that quantifies the total change in the gradients at the optimal points at each time instant. Furthermore, when the optimizer is approximatly subject to linear dynamics, we show that the dynamic regret bound can be further tightened by replacing the regularity measure that captures the path length of the optimizer with the accumulated prediction errors, which can be much lower in this special case. We present numerical experiments to corroborate our theoretical results.

연구 동기 및 목표

• 시간에 따라 변화하는 목적 함수를 갖는 분산 온라인 볼록 최적화 문제에 도전하며, 에이전트들이 함께 최소화점을 추적해야 한다.
• 특히 장기 간격 문제에서 시간 간격 T에 비례하는 기존의 동적 회귀 한계의 한계를 극복한다.
• 최적점에서의 기울기 변화 총합을 측정하는 새로운 정규성 척도를 도입하여 더 날카운 회귀 한계를 가능하게 한다.
• 분산 추적 시나리오에서 스텝 사이즈 선택에 대한 민감도를 줄이고, 더 높은 내구성을 확보한다.
• 최적해가 선형 역학을 따를 경우, 경로 길이 대신 예측 오차의 누적을 사용하여 회귀 한계를 추가로 개선할 수 있음을 보여준다.

제안 방법

• 정적 최적화에서 기울기 추적을 온라인 설정으로 확장하여, 분산 에이전트들이 실시간으로 전역 기울기를 추정할 수 있도록 한다.
• 온라인 경사하강법을 공통화 기반의 기울기 추정기와 통합하여, 국소 기울기 합의 추정치를 유지한다.
• 최적점에서의 시간에 따른 기울기 변화를 캡처하는 새로운 정규성 척도 $\mathcal{V}_{T}^{A} = \sum_{t=0}^{T-1} \| g_{t+1}(Ax_t^*) - g_t(x_t^*) \| $ 를 정의한다.
• 시간 간격 T에 의존하지 않는 동적 회귀 한계 $O(1 + \mathcal{P}_T^A + \mathcal{V}_T^A)$ 를 유도하며, 이는 기존의 $O(\sqrt{T(1 + \mathcal{P}_T)})$ 한계보다 더 날카롭다.
• 각 에이전트가 의사결정 변수와 전역 기울기의 국소 추정치를 유지하며, 국소 통신과 경사하강 단계를 통해 업데이트되는 분산 업데이트 규칙을 사용한다.
• 시간에 따라 감소하지 않는 일정한 스텝 사이즈 규칙을 도입하여 실무에서 더 높은 내구성과 수렴 행동을 확보한다.

실험 결과

연구 질문

• RQ1 분산 온라인 최적화 알고리즘이 시간 간격 T에 의존하지 않는 동적 회귀를 달성할 수 있는가?
• RQ2 최적점에서의 기울기 변화를 기반으로 한 제안된 정규성 척도 $\mathcal{V}_T^A$ 는 전통적인 경로 길이 척도에 비해 얼마나 더 날카운가?
• RQ3 최적해가 선형 역학을 따를 경우, 회귀 한계를 추가로 개선할 수 있으며, 만약 가능하면 그 방법은 무엇인가?
• RQ4 다양한 스텝 사이즈 설정 하에서 기존 방법 [12]과 비교해 실제로 알고리즘이 어떻게 성능을 내는가?
• RQ5 제안된 정규성 척도 $\mathcal{V}_T^A$ 는 일반 설정에서 반드시 필요한가, 아니면 제거할 수 있는가?

주요 결과

• 제안된 알고리즘은 시간 간격 T에 의존하지 않는 동적 회귀 한계 $O(1 + \mathcal{P}_T^A + \mathcal{V}_T^A)$ 를 달성하며, 이는 장기 간격 문제에서 더 날카운 성능을 보인다.
• 최적점에서의 기울기 변화를 기반으로 한 새로운 정규성 척도 $\mathcal{V}_T^A$ 는 표준 경로 길이 척도 $\mathcal{P}_T$ 보다 더 날카운 것으로 입증된다.
• 최적해가 선형 역학을 따를 경우, 경로 길이 $\mathcal{P}_T^A$ 를 예측 오차의 누적으로 대체함으로써 회귀 한계를 추가로 향상시킬 수 있다.
• 수치 실험 결과, 알고리즘 1은 [12]의 방법보다 회귀 성능과 스텝 사이즈 선택에 대한 내구성에서 뛰어나다.
• 시뮬레이션에서 회귀 곡선 $R_d^T$ 는 $\mathcal{V}_T^A$ 와 동일한 비율로 증가함을 확인하여, 새로운 정규성 척도를 일반적으로 제거할 수 없다는 실증적 증거를 제공한다.
• 제안된 조건 하에서 알고리즘은 점차적으로 유한한 추적 오차를 유지하며, 시간에 따라 변화하는 설정에서의 안정성을 확인한다.