[論文レビュー] Combinatorial Network Optimization with Unknown Variables: Multi-Armed Bandits with Linear Rewards

Yi Gai, Bhaskar Krishnamachari+1 more|arXiv (Cornell University)|Nov 22, 2010

Advanced Bandit Algorithms Research参考文献 26被引用数 14

ひとこと要約

本稿は、線形報酬を持つ組合せネットワーク最適化のための新しいマルチアームバンディットフレームワークを提案する。アームは共有される未知のパラメータによって依存している。観測を各確率変数ごとに追跡することで、LLR方策は時間に対して対数的に、未知パラメータの数に対して多項式的に成長するリグレットを達成する。ストレージと計算量は、アームの数ではなく未知パラメータの数に線形にスケーリングされる。

ABSTRACT

In the classic multi-armed bandits problem, the goal is to have a policy for dynamically operating arms that each yield stochastic rewards with unknown means. The key metric of interest is regret, defined as the gap between the expected total reward accumulated by an omniscient player that knows the reward means for each arm, and the expected total reward accumulated by the given policy. The policies presented in prior work have storage, computation and regret all growing linearly with the number of arms, which is not scalable when the number of arms is large. We consider in this work a broad class of multi-armed bandits with dependent arms that yield rewards as a linear combination of a set of unknown parameters. For this general framework, we present efficient policies that are shown to achieve regret that grows logarithmically with time, and polynomially in the number of unknown parameters (even though the number of dependent arms may grow exponentially). Furthermore, these policies only require storage that grows linearly in the number of unknown parameters. We show that this generalization is broadly applicable and useful for many interesting tasks in networks that can be formulated as tractable combinatorial optimization problems with linear objective functions, such as maximum weight matching, shortest path, and minimum spanning tree computations.

研究の動機と目的

• アーム数が指数関数的に増加する場合に、従来のマルチアームバンディット方策のスケーラビリティの限界を克服すること。
• 報酬が未知パラメータの線形結合であり、アーム間に依存関係を有する一般クラスのマルチアームバンディット問題を定式化すること。
• アーム間の線形的依存関係を活用することで、アームごとの統計追跡に比べてリグレット、ストレージ、計算量を削減する方策を設計すること。
• 時間に対して対数的、未知パラメータの数に対して多項式的に成長する、証明可能な効率的リグレットバウンドを達成すること。
• 認知無線ネットワークやオンライン広告など、不確実性下での基本的ネットワーク最適化問題（最短経路、最大重みマッチング、最小スパニングツリーなど）へのバンドイット学習の実用的応用を可能にすること。

提案手法

• 未知の平均θ_iを有するN個の未知の確率変数X_iをモデル化し、報酬がa^T Xとなる行動（アーム）a ∈ Fとする。
• 2つのベクトルを維持する：X_iの標本平均を表す(θ̂_i)と、X_iが観測された回数を表す(m_i)。
• 各時刻において、∑_{i∈A_a} a_i (θ̂_i + √((L+1) ln n)/m_i) を最大にする行動aを選択する。これは不確実性に基づくUCBスタイルのインデックスである。
• 各観測後、アクティブなアームのサポートA_aに属する添字iについて、θ̂_iとm_iを更新する。
• 線形構造を活用して、アームごとの統計を保存しなくてもよくなる。これにより、ストレージをO(|F|)からO(N)に削減する。
• 各ステップで決定的組合せ最適化問題を解き、次回の行動を選択する。これはマッチングや最短経路など、多項式時間で解ける問題に対しては実行可能である。

実験結果

リサーチクエスチョン

• RQ1 未知パラメータの数に応じて効率的にスケーリングするマルチアームバンディット方策を、線形報酬を持つ組合せ設定で設計できるか？
• RQ2 標準的なアームレベルの追跡に比べて、アーム間の線形的依存関係をどのように活用することで、リグレットとストレージ要件を削減できるか？
• RQ3 このような線形構造を持つバンディット問題で達成可能な最良のリグレットバウンドは何か？また、それは時間に対して対数的に成長するか？
• RQ4 提案された方策をKアーム選択（K個の行動を同時に選択）に拡張しても、性能保証を維持できるか？
• RQ5 このフレームワークは、ルーティングやリソース割り当てなどの未知係数を伴う実世界のネットワーク最適化問題に、どの程度応用可能か？

主な発見

• LLR方策は、リグレットがO(N⁴ ln n)の割合で成長することを達成する。これは時間に対して対数的で、未知パラメータの数Nに対して多項式的である。アーム数に対しては成長しない。
• ストレージと計算量は、未知パラメータの数Nに対して線形にスケーリングされ、アーム数に対して指数関数的に増加しない。
• 従来のアームベースの解析に比べて、リグレットバウンドがよりタイトである。これは、アーム数に対して線形的なリグレットを生じる。
• 方策はKアーム選択に拡張可能であり、わずかな修正で同じリグレットスケーリングを維持する。
• このフレームワークは、未知エッジ重みを伴う最大重みマッチング、最短経路、最小スパニングツリーなど、多項式時間で解ける組合せ最適化問題に広く適用可能である。
• アルゴリズムの性能は証明可能に効率的であり、認知無線ネットワーク、オンライン広告、その他の確率的最適化設定における実用的導入に適している。