[論文レビュー] Cooperation Speeds Surfing: Use Co-Bandit!

Anuja Meetoo Appavoo, Seth Gilbert+1 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Bandit Algorithms Research参考文献 19被引用数 3

ひとこと要約

本稿では、Co-Bandit を提案する。これは、モバイルデバイスがネットワーク性能の観測値と遅延フィードバックを共有することで、最適なネットワーク選択への収束を著しく高速化する協調的マルチアームバンディットアルゴリズムである。最小限の協調行動（例：定期的な観測ビットレートのブロードキャスト）を活用することで、EXP3 よりも最大630倍速く安定化を達成しつつ、レグレット最小化および収束特性を維持する。

ABSTRACT

In this paper, we explore the benefit of cooperation in adversarial bandit settings. As a motivating example, we consider the problem of wireless network selection. Mobile devices are often required to choose the right network to associate with for optimal performance, which is non-trivial. The excellent theoretical properties of EXP3, a leading multi-armed bandit algorithm, suggest that it should work well for this type of problem. Yet, it performs poorly in practice. A major limitation is its slow rate of stabilization. Bandit-style algorithms perform better when global knowledge is available, i.e., when devices receive feedback about all networks after each selection. But, unfortunately, communicating full information to all devices is expensive. Therefore, we address the question of how much information is adequate to achieve better performance. We propose Co-Bandit, a novel cooperative bandit approach, that allows devices to occasionally share their observations and forward feedback received from neighbors; hence, feedback may be received with a delay. Devices perform network selection based on their own observation and feedback from neighbors. As such, they speed up each other's rate of learning. We prove that Co-Bandit is regret-minimizing and retains the convergence property of multiplicative weight update algorithms with full information. Through simulation, we show that a very small amount of information, even with a delay, is adequate to nudge each other to select the right network and yield significantly faster stabilization at the optimal state (about 630x faster than EXP3).

研究の動機と目的

• 強固な理論的保証がある一方で、実用的性能が低いとされる EXP3 が、無線ネットワーク選択において収束が遅いという問題に対処する。
• 分散型で敵対的バンディット設定下において、デバイス間の最小限の協調行動が収束速度を著しく改善できるかどうかを調査する。
• 観測値の共有と遅延フィードバックの転送を可能にする、スケーラブルで分散型のアルゴリズムを設計する。
• 提案手法が、完全情報に基づく乗法的重み更新アルゴリズムのレグレット最小化および収束特性を保持していることを保証する。
• 動的で現実的な無線環境下における、通信オーバーヘッドと性能向上のトレードオフを評価する。

提案手法

• デバイスは、Bluetooth などの低コストチャネルを用いて、定期的に観測したネットワーク性能（例：ビットレート）をブロードキャストする。
• 各デバイスは、隣接デバイスから受信したフィードバックを転送することで、ネットワーク全体にわたる遅延フィードバックを共有する。
• デバイスは、局所的観測値と遅延した隣接デバイスからのフィードバックを組み合わせた、変更を加えた EXP3 に類似したアルゴリズムでネットワーク選択戦略を更新する。
• 学習率を調整することで、探索と活用のバランスをとる、推定損失に基づく重み付き確率更新ルールを用いる。
• フィードバック伝搬は、動的で変化するデバイス間通信リンクを表す時変動するランダム有向グラフでモデル化される。
• 理論的分析により、Co-Bandit が完全情報アルゴリズムと同等のレグレットバウンドを維持することが示され、協調行動と遅延を考慮した上界が導出されている。

実験結果

リサーチクエスチョン

• RQ1 敵対的バンディット設定下において、デバイス間の最小限の協調行動が、最適ネットワーク状態への安定化までの時間を著しく短縮できるか？
• RQ2 隣接デバイスからの遅延フィードバックは、分散型ネットワーク選択アルゴリズムの収束速度とレグレット性能にどのように影響するか？
• RQ3 非協調的バンディットアルゴリズム（例：EXP3）よりも顕著な性能向上を達成するために、必要な共有情報の最小量は何か？
• RQ4 分散型で動的環境下においても、協調行動は完全情報に基づく乗法的重み更新アルゴリズムのレグレット最小化および収束特性を保持できるか？
• RQ5 現実的な無線通信パターン下で、デバイス数やネットワーク数の増加に伴い、Co-Bandit はどのようにスケーリングするか？

主な発見

• シミュレーションにおいて、Co-Bandit は、わずかな共有情報しか使用しないにもかかわらず、EXP3 よりも最適ネットワーク状態への安定化が約630倍速い。
• アルゴリズムはレグレット最小化動作を維持しており、その上界は協調の度合いとフィードバック遅延に依存する。
• 遅延フィードバックでさえも、完全情報に依存する乗法的重み更新アルゴリズムの収束特性を Co-Bandit が保持している。
• 一時的なネットワークダイナミクスに対しても、システムは安定して性能を維持する。
• 最小限の協調行動（例：観測ビットレートの定期的ブロードキャスト）が、顕著な性能向上をもたらし、低コストの協調が極めて有効であることを示している。
• 理論的分析により、Co-Bandit が敵対的条件下で安定状態に収束することが確認され、協調要因 q を含む修正されたリプロダクタダイナミクスと等価なダイナミクスを示している。