[論文レビュー] CCN Interest Forwarding Strategy as Multi-Armed Bandit Model with Delays

Konstantin Avrachenkov, Peter Jacko|arXiv (Cornell University)|Apr 2, 2012

Advanced Bandit Algorithms Research参考文献 18被引用数 7

ひとこと要約

本稿では、コンテンツ指向ネットワーキング（CCN）におけるイニシアチブ転送に遅延を伴うマルチアームドバンディット（MAB）フレームワークを提案し、ルータ選択を逐次的意思決定問題としてモデル化する。実験により、調整済みε-グリーディアルゴリズムが最小限の探索で対数的レグレットを達成できることを示しており、これは非常に短い初期段階を要するため、最適なUCBアルゴリズムとほぼ同等の効果を持つ。これは、遅延フィードバック下でも成立する。

ABSTRACT

We consider Content Centric Network (CCN) interest forwarding problem as a Multi-Armed Bandit (MAB) problem with delays. We investigate the transient behaviour of the $\eps$-greedy, tuned $\eps$-greedy and Upper Confidence Bound (UCB) interest forwarding policies. Surprisingly, for all the three policies very short initial exploratory phase is needed. We demonstrate that the tuned $\eps$-greedy algorithm is nearly as good as the UCB algorithm, the best currently available algorithm. We prove the uniform logarithmic bound for the tuned $\eps$-greedy algorithm. In addition to its immediate application to CCN interest forwarding, the new theoretical results for MAB problem with delays represent significant theoretical advances in machine learning discipline.

研究の動機と目的

• 帯域幅またはコスト制約下でのCCNにおける効率的なイニシアチブ転送の課題に対処すること。
• イニシアチブ転送問題を遅延報酬を伴うマルチアームドバンディット（MAB）問題としてモデル化すること。
• 遅延フィードバック下でのε-グリーディ、調整済みε-グリーディ、UCBアルゴリズムの過渡的挙動を分析すること。
• 遅延が存在する状況下での調整済みε-グリーディアルゴリズムの理論的性能バウンドを確立すること。
• CCNにおいて、有効な学習を行うために必要な初期探索フェーズが非常に短いことを実証すること。

提案手法

• 報酬（コンテンツ配信）がランダムな遅延後に観測される遅延フィードバックを伴う確率的MAB問題として、CCNイニシアチブ転送を形式化する。
• 標準的な3つのMABアルゴリズム（ε-グリーディ、調整済みε-グリーディ、上界信頼性（UCB））を、遅延観測に適応して適用する。
• 各タイムスロットで1つのイニシアチブが1つの隣接ルータに送信可能な離散時間モデルを用いる。
• 各ルータkについて、支持が[1, D]に制限されたi.i.d.（独立同分布）の遅延変数F_k(x)を導入する。
• 初期探索フェーズの分析に、数値シミュレーションと正規分布に基づく解析的近似を併用する。
• 調整済みε-グリーディアルゴリズムが遅延フィードバック下で、最適でないルータを選択する確率に対して一様な対数的バウンドを証明する。

実験結果

リサーチクエスチョン

• RQ1 遅延フィードバックは、CCNイニシアチブ転送における標準MABアルゴリズムの性能にどのように影響するか？
• RQ2 遅延フィードバック下でのε-グリーディおよび調整済みε-グリーディアルゴリズムにおける初期探索フェーズの最適長さは何か？
• RQ3 調整済みε-グリーディアルゴリズムは、遅延報酬が存在する状況でも対数的レグレットを達成できるか？UCBの性能を模倣できるか？
• RQ4 収束速度の観点から、初期探索フェーズにおけるラウンドロビン戦略とランダム選択の比較は？
• RQ5 MABフレームワーク下で、遅延フィードバックが存在する状況下での調整済みε-グリーディアルゴリズムに対して、どのような理論的保証を確立できるか？

主な発見

• 調整済みε-グリーディアルゴリズムは、時間に関して対数的レグレットを達成しており、UCBアルゴリズムの最良性能と一致する。
• 有効な学習に必要な初期探索フェーズは非常に短く、数値例ではたった68タイムスロットで最適ルータの選択確率が95％を超える。
• 初期フェーズ終了後の最良ルータ選択確率は、標準正規分布の累積分布関数を用いて近似可能であり、特にラウンドロビン探索ではよりきついバウンドが得られる。
• 調整済みε-グリーディアルゴリズムの理論的バウンドは、大規模なtに対して、瞬時の最適でない選択確率がO(1/t)の速度で減少することを示しており、収束が効率的であることを示している。
• 遅延による性能低下は最小限であり、D=15スロットまでの大きなフィードバック遅延でも、アルゴリズムは依然として有効に機能する。
• 結果として、各ルータからの1回の観測で十分な性能が達成可能であり、長期間の探索フェーズが必要であるという直感とは対照的である。