[論文レビュー] Distributed Non-Stochastic Experts

Varun Kanade, Zhenming Liu+1 more|arXiv (Cornell University)|Nov 14, 2012

Advanced Bandit Algorithms Research参考文献 17被引用数 14

ひとこと要約

本稿は、コーディネーターサイトアーキテクチャにおける非確率的エキスパート問題に対して、新たな分散型アルゴリズムDFPLを提案し、レジーットと通信コストのトレードオフを達成する。確率的でラベル効率の良い通信を用い、報酬ベクトルを $ C/T $ 比例確率でコーディネーターに送信することで、任意の $ \epsilon \in (0,1/5) $ に対してレジーット $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ と通信量 $ O(T/k^{\epsilon}) $ を達成し、完全通信と非通信の極端なケースを上回る。

ABSTRACT

We consider the online distributed non-stochastic experts problem, where the distributed system consists of one coordinator node that is connected to $k$ sites, and the sites are required to communicate with each other via the coordinator. At each time-step $t$, one of the $k$ site nodes has to pick an expert from the set ${1, ..., n}$, and the same site receives information about payoffs of all experts for that round. The goal of the distributed system is to minimize regret at time horizon $T$, while simultaneously keeping communication to a minimum. The two extreme solutions to this problem are: (i) Full communication: This essentially simulates the non-distributed setting to obtain the optimal $O(\sqrt{\log(n)T})$ regret bound at the cost of $T$ communication. (ii) No communication: Each site runs an independent copy : the regret is $O(\sqrt{log(n)kT})$ and the communication is 0. This paper shows the difficulty of simultaneously achieving regret asymptotically better than $\sqrt{kT}$ and communication better than $T$. We give a novel algorithm that for an oblivious adversary achieves a non-trivial trade-off: regret $O(\sqrt{k^{5(1+ε)/6} T})$ and communication $O(T/k^ε)$, for any value of $ε\in (0, 1/5)$. We also consider a variant of the model, where the coordinator picks the expert. In this model, we show that the label-efficient forecaster of Cesa-Bianchi et al. (2005) already gives us strategy that is near optimal in regret vs communication trade-off.

研究の動機と目的

• 無作為な敵対的環境下での分散オンライン学習における通信コストとレジーットのトレードオフを扱う。
• 完全通信（最良のレジーット、高コスト）と非通信（ゼロコスト、悪いレジーット）の極端なケースを上回る分散型アルゴリズムを設計すること。
• コーディネーター予測モデルにおける、達成可能なレジーットと通信コストの理論的限界を確立すること。
• 合成非確率的系列に対するベースライン手法（完全通信、非通信、ミニバッチ、HYZ）と比較して、提案アルゴリズムの性能を評価すること。

提案手法

• DFPLアルゴリズムは、ラベル効率の良い通信戦略を用いる：各サイトは報酬ベクトルを確率 $ p \approx C/T $ でコーディネーターに転送する。ここで $ C $ は通信予算である。
• コーディネーターは、サンプリングされた報酬のみを用いて累積報酬ベクトルを維持・更新し、ノイズ $ \sqrt{T} $ を用いたフォローザ・ペチューブド・リーダー（FPL）アルゴリズムを適用する。
• 線形正則化子 $ r(\mathbf{x}) = \bar{\mathbf{\eta}} \cdot \mathbf{x} $ を用いたFPLフレームワークの下でアルゴリズムを分析する。ここで $ \bar{\mathbf{\eta}} $ は $ [0,\eta]^n $ 内のランダムベクトルである。
• ランダムサンプリングに基づき、高い報酬分散または重要性を持つものに限ってメッセージを送信することで、通信コストを最小化する。
• 理論的解析により、期待レジーットが $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ にスケーリングし、通信量が $ O(T/k^{\epsilon}) $ に抑えられることを示した。任意の $ \epsilon \in (0,1/5) $ に対して成立する。
• 累積報酬報告と $ \sqrt{T} $ ノイズを用いたFPLに従うアルゴリズムのクラスに対して下界を証明し、$ O(\sqrt{T}) $ レジーットを達成するには $ \Omega(T^{1-\epsilon}) $ の通信量が必要であることを示した。$ k=1 $ の場合でも同様である。

実験結果

リサーチクエスチョン

• RQ1 分散オンライン学習システムは、非線形通信量を用いながらも、$ \sqrt{kT} $ よりも漸近的に優れたレジーットを達成できるか？
• RQ2 コーディネーター予測モデルにおける通信コストとレジーットの根本的トレードオフは何か？
• RQ3 ラベル効率の良い通信戦略は、ランダムまたは周期的通信を上回り、レジーットを最小化できるか？
• RQ4 コーディネーターモデルで $ O(\sqrt{T}) $ レジーットを達成するために、避けられない通信量の下界は存在するか？
• RQ5 非確率的系列において、提案されたDFPLアルゴリズムは、ミニバッチやHYZといった既存手法と比較して、レジーットと通信量の両面で優れているか？

主な発見

• DFPLアルゴリズムは、任意の $ \epsilon \in (0,1/5) $ に対して、$ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ のレジーットと $ O(T/k^{\epsilon}) $ の通信コストを達成し、レジーットと通信コストの間で非自明なトレードオフを実現している。
• アルゴリズムは、通信量が $ T $ に達する完全通信ベースラインや、$ O(\sqrt{kT}) $ のレジーットを被る非通信ベースラインの両方を上回っている。
• 下界が確立された：累積報酬報告と $ \sqrt{T} $ ノイズを用いたFPLに従う任意のアルゴリズムは、$ O(\sqrt{T}) $ レジーットを達成するためには $ \Omega(T^{1-\epsilon}) $ の通信量を必要とし、$ k=1 $ の場合でも同様である。
• ジグザグおよびマルコフ連鎖系列におけるシミュレーションでは、DFPLがミニバッチおよびHYZアルゴリズムよりも優れたレジーット-通信トレードオフを達成している。
• Cesa-Bianchiら（2005）のラベル効率の良い予測器が、コーディネーター予測モデルにおいてほぼ最適であることが示された。これは、ほぼ最適なレジーット-通信トレードオフを達成している。
• 結果から、適切なサンプリング確率 $ p \approx C/T $ を用いた確率的でラベル効率の良い通信が、同じ通信予算下でほぼ最適なレジーットスケーリングを達成することが確認された。