[논문 리뷰] A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret

Yan Zhang, Robert Ravier외 2명|arXiv (Cornell University)|2019. 11. 12.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 4

한 줄 요약

이 논문은 강한 볼록성 조건 하에서 시간 단계 수에 명시적인 의존성이 없이 동적 리그레스를 달성하기 위해 기울기 추적을 사용하는 분산 온라인 볼록 최적화 알고리즘을 제안한다. 국부적 통신를 통해 기울기 단계를 보정함으로써, 경로 길이 정규화에만 의존하는 하향 수렴 성능을 보장하며, 수렴성과 스텝 사이즈에 대한 내성에서 이전 방법들을 능가한다.

ABSTRACT

In this paper, we consider the problem of distributed online convex optimization, where a network of local agents aim to jointly optimize a convex function over a period of multiple time steps. The agents do not have any information about the future. Existing algorithms have established dynamic regret bounds that have explicit dependence on the number of time steps. In this work, we show that we can remove this dependence assuming that the local objective functions are strongly convex. More precisely, we propose a gradient tracking algorithm where agents jointly communicate and descend based on corrected gradient steps. We verify our theoretical results through numerical experiments.

연구 동기 및 목표

• 기존의 분산 온라인 볼록 최적화 알고리즘이 시간 단계 수에 따라 증가하는 동적 리그레스를 보이는 한계를 해결하기 위해.
• 강한 볼록성과 기울기 추적을 활용하여 동적 리그레스 경계에서 시간에 대한 명시적 의존성을 제거하기 위해.
• 기존 방법들과 비교해 더 빠른 수렴 속도와 더 높은 스텝 사이즈 내성(robustness)을 제공하는 분산 알고리즘을 설계하기 위해.
• 분산 추적 시나리오에서의 수치 실험을 통해 이론적 개선 사항을 검증하기 위해.

제안 방법

• 에이전트들이 전역 기울기의 국부적 추정치를 유지하고 이웃의 정보를 사용하여 내림걸음 단계를 보정하는 기울기 추적 메커니즘을 사용한다.
• 각 에이전트는 고정된 스텝 사이즈와 자신의 기울기 및 이웃의 기울기의 가중 평균을 사용하여 국부적 변수를 갱신함으로써 기울기 추정치에 대한 일치를 확보한다.
• 동적 리그레스를 제한하기 위해 최적화 경로 길이 정규화와 기울기 경로 길이 정규화를 모두 통합한다.
• 네트워크 전반에서 수렴을 보장하기 위해 이중 스토하스틱 가중치 행렬을 핵심 구성 요소로 사용한다.
• 최근의 오프라인 기술 발전을 영감으로 삼아, 기울기 보정이 추가된 분산 기울기 하강법의 온라인 확장으로서 알고리즘을 유도한다.
• 이론적 분석을 통해 강한 볼록성 조건 하에서 시간 T에 대한 명시적 의존성이 없이 동적 리그레스가 O(√P_T)로 스케일링됨을 입증한다.

실험 결과

연구 질문

• RQ1 분산 온라인 볼록 최적화에서 시간 단계 수에 명시적인 의존성이 없이 동적 리그레스를 경계할 수 있는가?
• RQ2 강한 볼록성 조건이 분산 온라인 환경에서 개선된 리그레스 경계를 어떻게 가능하게 하는가?
• RQ3 기울기 추적 기법을 온라인 설정에 적응시켜 수렴성과 스텝 사이즈 내성(robustness)을 향상시킬 수 있는가?
• RQ4 기울기 경로 길이 정규화가 분산 온라인 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ5 동적 환경에서 기존 방법들과 비교해 제안된 알고리즘이 리그레스와 추적 정확도 측면에서 어떻게 성능을 냅니다?

주요 결과

• 제안된 알고리즘은 시간 단계 수 T에 대한 명시적 의존성이 없이 동적 리그레스가 O(√P_T)로 경계됨을 입증한다. 여기서 P_T는 최적 해의 경로 길이다.
• 리그레스 경계는 오직 경로 길이 정규화에만 의존하며, 이는 강한 볼록성 조건이 경계에 시간에 의존하는 항목이 필요 없음을 시사한다.
• 수치 실험 결과, 기울기 추적 기능이 없는 기존의 분산 온라인 기울기 하강법 대비 더 낮은 리그레스와 향상된 추적 성능을 달성함을 확인하였다.
• 기존 방법들보다 더 큰 스텝 사이즈를 허용하며, 스텝 사이즈가 1/(2L_g)일 때조차도 안정성과 수렴성을 유지할 수 있다. 반면 기준선 알고리즘은 이 수준에서 발산한다.
• 분산 추적 시뮬레이션에서 에이전트들은 최소한의 오차로 다수의 이동 목표를 성공적으로 추적하였으며, 리그레스는 경로 길이 정규화와 동일한 비율로 증가하였다.
• 추적 예제에서 기울기 경로 길이 정규화 V_T는 P_T와 같은 주기의 크기를 가짐을 확인하였으며, 이는 이론적 가정의 타당성을 검증한다.