[논문 리뷰] Distributed Non-Stochastic Experts

Varun Kanade, Zhenming Liu외 1명|arXiv (Cornell University)|2012. 11. 14.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 14

한 줄 요약

이 논문은 조정자-사이트 아키텍처에서 비확률적 전문가 문제를 위한 새로운 분산 알고리즘 DFPL을 제안하며, 실적과 통신 비용 사이의 트레이드오프를 달성한다. 랜덤화된 레이블 효율적 통신을 사용하여 보상 벡터를 $ C/T $ 비례 확률로 조정자에게 전송함으로써, $ \epsilon \in (0,1/5) $ 에 대해 $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ 의 실적과 $ O(T/k^{\epsilon}) $ 의 통신 비용을 달성한다. 이는 전체 통신과 무통신의 극단을 모두 초월한다.

ABSTRACT

We consider the online distributed non-stochastic experts problem, where the distributed system consists of one coordinator node that is connected to $k$ sites, and the sites are required to communicate with each other via the coordinator. At each time-step $t$, one of the $k$ site nodes has to pick an expert from the set ${1, ..., n}$, and the same site receives information about payoffs of all experts for that round. The goal of the distributed system is to minimize regret at time horizon $T$, while simultaneously keeping communication to a minimum. The two extreme solutions to this problem are: (i) Full communication: This essentially simulates the non-distributed setting to obtain the optimal $O(\sqrt{\log(n)T})$ regret bound at the cost of $T$ communication. (ii) No communication: Each site runs an independent copy : the regret is $O(\sqrt{log(n)kT})$ and the communication is 0. This paper shows the difficulty of simultaneously achieving regret asymptotically better than $\sqrt{kT}$ and communication better than $T$. We give a novel algorithm that for an oblivious adversary achieves a non-trivial trade-off: regret $O(\sqrt{k^{5(1+ε)/6} T})$ and communication $O(T/k^ε)$, for any value of $ε\in (0, 1/5)$. We also consider a variant of the model, where the coordinator picks the expert. In this model, we show that the label-efficient forecaster of Cesa-Bianchi et al. (2005) already gives us strategy that is near optimal in regret vs communication trade-off.

연구 동기 및 목표

• 무작위 대안자에 대한 분산 온라인 학습에서 통신 비용과 실적 사이의 트레이드오프를 해결하기 위해.
• 전체 통신(최적의 실적, 높은 비용)과 무통신(영비용, 열악한 실적)의 극단을 초월하는 분산 알고리즘을 설계하기 위해.
• 조정자 예측 모델에서 실적과 통신 사이의 달성 가능한 트레이드오프의 이론적 한계를 설정하기 위해.
• 합성 비확률적 시퀀스에서 기준선 방법들인 전체 통신, 무통신, 미니배치, HYZ와의 성능을 평가하기 위해.

제안 방법

• DFPL 알고리즘은 레이블 효율적 통신 전략을 사용한다: 각 사이트는 통신 예산 $ C $ 를 기준으로 확률 $ p \approx C/T $ 로 보상 벡터를 조정자에게 전송한다.
• 조정자는 샘플된 보상만을 사용하여 누적 보상 벡터를 유지 및 갱신하고, 노이즈 $ \sqrt{T} $ 를 가진 Follow the Perturbed Leader (FPL) 알고리즘을 적용한다.
• 선형 정규화자 $ r(\mathbf{x}) = \bar{\mathbf{\eta}} \cdot \mathbf{x} $ 를 사용한 FPL 프레임워크 하에서 알고리즘을 분석하며, $ \bar{\mathbf{\eta}} $ 는 $ [0,\eta]^n $ 내의 랜덤 벡터이다.
• 랜덤 샘플링 기반으로 높은 보상 분산 또는 중요도를 가진 메시지에 한하여 통신 비용을 최소화한다.
• 이론적 분석을 통해 기대 실적이 $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ 로 스케일링되고, 통신 비용이 $ O(T/k^{\epsilon}) $ 로 스케일링됨을 보여주며, $ \epsilon \in (0,1/5) $ 에 대해 성립한다.
• 누적 보상 보고 및 $ \sqrt{T} $ 노이즈를 사용하는 FPL을 사용하는 알고리즘의 클래스에 대해 하한선을 증명하여, $ O(\sqrt{T}) $ 실적을 달성하기 위해 $ \Omega(T^{1-\epsilon}) $ 의 통신이 반드시 필요함을 보여준다.

실험 결과

연구 질문

• RQ1 분산 온라인 학습 시스템이 하위선형 통신을 사용하면서도 $ \sqrt{kT} $ 보다 점점 더 나은 점근적 실적을 달성할 수 있는가?
• RQ2 조정자 예측 모델에서 통신 비용과 실적 사이의 근본적인 트레이드오프는 무엇인가?
• RQ3 레이블 효율적 통신 전략이 무작위 또는 주기적 통신보다 실적을 최소화하는 데 뛰어나게 작용할 수 있는가?
• RQ4 조정자 모델에서 $ O(\sqrt{T}) $ 실적을 달성하기 위해 반드시 지불해야 할 통신의 하한선이 존재하는가?
• RQ5 제안된 DFPL 알고리즘이 비확률적 시퀀스에서 기존 방법들인 미니배치 및 HYZ에 비해 실적과 통신 측면에서 어떻게 비교되는가?

주요 결과

• DFPL 알고리즘은 $ \epsilon \in (0,1/5) $ 에 대해 $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ 의 실적과 $ O(T/k^{\epsilon}) $ 의 통신 비용을 달성하며, 실적과 통신 사이의 비트레이드오프를 나타낸다.
• 이 알고리즘은 전체 통신 기준선(통신 비용 $ T $ 를 유발함)과 무통신 기준선(실적 $ O(\sqrt{kT}) $ 을 악화함)을 모두 뛰어넘는다.
• 하한선이 확립되었다: FPL에 $ \sqrt{T} $ 노이즈를 사용하고 누적 보상을 보고하는 모든 알고리즘은 $ O(\sqrt{T}) $ 실적을 달성하기 위해 $ \Omega(T^{1-\epsilon}) $ 의 통신을 반드시 사용해야 하며, $ k=1 $ 이더라도 마찬가지다.
• 자이그재그 및 마르코프 체인 시퀀스에 대한 시뮬레이션 결과, DFPL은 미니배치 및 HYZ 알고리즘보다 더 나은 실적-통신 트레이드오프를 달성한다.
• Cesa-Bianchi 등(2005)의 레이블 효율적 예측기의 성능이 조정자 예측 모델에서 거의 최적임을 입증하여, 거의 최적의 실적-통신 트레이드오프를 달성한다.
• 결과적으로, 적절한 샘플링 확률 $ p \approx C/T $ 를 가진 무작위 레이블 효율적 통신이 동일한 통신 예산 하에서 거의 최적의 실적 스케일링을 이끌어낸다.