[論文レビュー] Collaborative Learning with Limited Interaction: Tight Bounds for Distributed Exploration in Multi-Armed Bandits

Tao Chao, Qin Zhang+1 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Bandit Algorithms Research参考文献 41被引用数 6

ひとこと要約

この論文は、通信制限があるマルチアームバンディットにおける協調的ベストアーム同定を研究し、効率的なアルゴリズムを提案するとともに、必要な通信ラウンド数のほぼタイトな下界を確立している。K人のエージェントを用いる場合、固定信頼度および固定時間設定下でも、最小限の相互作用のもとでΘ(K)の近似的最適なスピードアップが達成可能であることが示されている。

ABSTRACT

Best arm identification (or, pure exploration) in multi-armed bandits is a fundamental problem in machine learning. In this paper we study the distributed version of this problem where we have multiple agents, and they want to learn the best arm collaboratively. We want to quantify the power of collaboration under limited interaction (or, communication steps), as interaction is expensive in many settings. We measure the running time of a distributed algorithm as the speedup over the best centralized algorithm where there is only one agent. We give almost tight round-speedup tradeoffs for this problem, along which we develop several new techniques for proving lower bounds on the number of communication steps under time or confidence constraints.

研究の動機と目的

• 通信ステップが限られた分散型マルチアームバンディットにおける協調の力を定量化すること。
• 協調的ベストアーム同定における通信ラウンドと実行時間のトレードオフを分析すること。
• 固定信頼度および固定時間設定下での通信ラウンド数に必要なほぼタイトな下界を確立すること。
• 時間的制約または信頼度制約下での通信複雑度の下界を証明するための新技術を構築すること。
• 最小限の相互作用で近似的最適なスピードアップを達成する効率的な協調アルゴリズムを設計すること。

提案手法

• K人のエージェントがラウンドごとにアームプルを実行し、通信は各ラウンドの終了時でのみ許可される分散モデルを提案する。
• プル回数と報酬合計を用いて探索と通信を誘導する決定的アルゴリズムフレームワークを導入する。
• 各ラウンド内でエージェントがしきい値を超えるプル回数に達する確率を分析するために条件付き確率の議論を採用する。
• ピンスカーベルの不等式とカルバック・ライブラー発散を用いて、異なるギャップパラメータ（ΔとΔ/ζ）における分布を比較する。
• 異なるバンディットインスタンスにおける誤差確率のバウンディングを統合する融合技術を用いて下界を導出する。
• 濃度不等式と和集合の不等式を用いて、個々のエージェントが過剰なプルを実行する確率を制御する。

実験結果

リサーチクエスチョン

• RQ1 K人のエージェントが分散型マルチアームバンディット設定で高い信頼度でベストアームを同定するために必要な通信ラウンドの最小数は何か？
• RQ2 固定信頼度および固定時間制約下で、通信ラウンド数はエージェント数Kに対してどのようにスケーリングするか？
• RQ3 最小限の相互作用のもとで近似的最適なスピードアップを達成できるか。また、このような協調の根本的限界は何か？
• RQ4 協調バンディット学習における通信複雑度を分析するにあたり、どのような新しい下界技術が必要か？
• RQ5 エージェントが調整のないバッチでアームをプルする制限がある場合、性能はどのように低下するか？

主な発見

• 固定信頼度のベストアーム同定において、通信ラウンド複雑度のほぼタイトな下界Ω(1 / log K)を確立し、通信をこの閾値未満に削減することは不可能であることを示している。
• 固定時間のベストアーム同定において、通信ラウンド複雑度の下界Ω(log T / log K)を証明しており、ラウンド数が時間Tに関して対数的に増加することを示している。
• 提案されたアルゴリズムは、固定時間設定ではO(log T / log K)、固定信頼度設定ではO(log(1/δ) / log K)の通信ラウンド複雑度を達成しており、下界と対数要因を除いて一致している。
• K人のエージェントによるスピードアップは、時間複雑度の観点からΘ(K)である。これは、総プル回数がエージェント数に線形に比例することを意味する。
• 分析から、通信が深刻なボトルネックであることが明らかになった。K人のエージェントがいても、最悪ケースでは通信ラウンド数をΩ(1 / log K)未満に削減することはできない。
• 本論文では、条件付き確率、KL発散、ピンスカーベルの不等式を統合する新しい技術を導入し、制限された相互作用下でのタイトな下界を導出している。