[논문 리뷰] Projection-free Distributed Online Learning with Sublinear Communication Complexity

Yuanyu Wan, Guanghui Wang외 2명|arXiv (Cornell University)|2021. 03. 20.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 볼록 손실에 대해 O(√T)로, 강한 볼록 손실에 대해 O(T^{1/3}(log T)^{2/3})로 통신 복잡도를 감소시키면서도 각각 O(T^{3/4})와 O(T^{2/3}(log T)^{1/3})의 최적의 리그레트 한계를 유지하는 투영 자유 분산 온라인 학습 알고리즘인 D-BOCG를 제안한다. 이는 지연 업데이트 메커니즘과 재정의된 가짜 손실 함수를 통해 달성된다.

ABSTRACT

To deal with complicated constraints via locally light computations in distributed online learning, a recent study has presented a projection-free algorithm called distributed online conditional gradient (D-OCG), and achieved an $O(T^{3/4})$ regret bound for convex losses, where $T$ is the number of total rounds. However, it requires $T$ communication rounds, and cannot utilize the strong convexity of losses. In this paper, we propose an improved variant of D-OCG, namely D-BOCG, which can attain the same $O(T^{3/4})$ regret bound with only $O(\sqrt{T})$ communication rounds for convex losses, and a better regret bound of $O(T^{2/3}(\log T)^{1/3})$ with fewer $O(T^{1/3}(\log T)^{2/3})$ communication rounds for strongly convex losses. The key idea is to adopt a delayed update mechanism that reduces the communication complexity, and redefine the surrogate loss function in D-OCG for exploiting the strong convexity. Furthermore, we provide lower bounds to demonstrate that the $O(\sqrt{T})$ communication rounds required by D-BOCG are optimal (in terms of $T$) for achieving the $O(T^{3/4})$ regret with convex losses, and the $O(T^{1/3}(\log T)^{2/3})$ communication rounds required by D-BOCG are near-optimal (in terms of $T$) for achieving the $O(T^{2/3}(\log T)^{1/3})$ regret with strongly convex losses up to polylogarithmic factors. Finally, to handle the more challenging bandit setting, in which only the loss value is available, we incorporate the classical one-point gradient estimator into D-BOCG, and obtain similar theoretical guarantees.

연구 동기 및 목표

• 분산 온라인 조건부 기울기(D-OCG)의 통신 복잡도를 T 라운드에서 T에 대해 비선형으로 줄이되, 리그레트 성능을 유지한다.
• 손실의 강한 볼록성을 활용하여 D-OCG의 O(T^{3/4}) 한계를 초월하는 더 나은 리그레트 한계를 달성한다.
• 단지 선형 최적화 단계만을 사용하여 투영 자유 업데이트를 유지하는 통신 효율적인 알고리즘을 설계한다.
• 제안된 통신 복잡도가 볼록 및 강한 볼록 설정 모두에서 최적임을 보여주는 이론적 하한을 수립한다.
• 오직 손실 값만 관측 가능한 밴딧 설정으로 프레임워크를 확장하며, 유사한 이론적 보장을 유지한다.

제안 방법

• T라운드를 B개의 블록으로 나누어 통신을 B라운드로 줄이는 지연 업데이트 메커니즘을 도입한다.
• D-OCG의 원래 가짜 손실을 더 일반적인 형태로 대체하여 손실의 강한 볼록성을 활용할 수 있도록 한다.
• 로컬 학습자가 각 블록당 한 번만 통신하는 블록 단위 업데이트 전략을 사용하여 통신 빈도를 최소화한다.
• 밴딧 설정으로의 확장을 위해 일점 기울기 추정기를 사용한다. 이 경우 오직 손실 값만 관측 가능하다.
• 밴딧 변형에서 기울기 추정 오차를 유한하게 제한하기 위해 마틴게일 차분 수열과 베르누이 타입 부등식을 적용한다.
• 블록 평균 기울기의 누적 오차와 수렴성을 분석하여 리그레트 및 통신 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 D-OCG의 통신 복잡도를 O(T)에서 T에 대해 비선형으로 줄일 수 있는가, 이때 리그레트 성능이 악화되지 않는가?
• RQ2 손실 함수의 강한 볼록성을 분산 온라인 학습에서 활용하여 D-OCG의 O(T^{3/4}) 한계를 초월하는 더 나은 리그레트 한계를 달성할 수 있는가?
• RQ3 제안된 볼록 손실에 대한 O(√T) 통신 복잡도가 T에 대해 최적인가?
• RQ4 제안된 강한 볼록 손실에 대한 O(T^{1/3}(log T)^{2/3}) 통신 복잡도가 다항로그 요소를 제외한 측면에서 거의 최적인가?
• RQ5 오직 손실 피드백만을 사용하는 밴딧 설정으로 프레임워크를 확장할 수 있는가, 이때 유사한 리그레트 및 통신 보장을 유지하는가?

주요 결과

• D-BOCG는 볼록 손실에 대해 오직 O(√T)의 통신 횟수로 O(T^{3/4})의 리그레트 한계를 달성하며, D-OCG의 T라운드 통신에 비해 통신을 크게 줄였다.
• 강한 볼록 손실에 대해 D-BOCG는 O(T^{2/3}(log T)^{1/3})의 더 타이트한 리그레트 한계를 달성하며, O(T^{1/3}(log T)^{2/3})의 통신 횟수를 사용한다.
• 볼록 손실에 대한 O(√T) 통신 복잡도는 상수 요소를 제외한 T에 대해 최적이며, 이는 증명되었다.
• 강한 볼록 손실에 대한 O(T^{1/3}(log T)^{2/3}) 통신 복잡도는 다항로그 요소를 제외한 측면에서 거의 최적이며, 이는 증명되었다.
• D-BOCG의 밴딧 확장은 일점 기울기 추정기를 사용하여 동일한 리그레트 및 통신 복잡도 보장을 유지한다.
• 이론적 분석을 통해 지연 업데이트 메커니즘과 재정의된 가짜 손실 함수가 개선된 통신 효율성과 리그레트 한계 달성의 핵심 요소임을 확인하였다.