[論文レビュー] Reward Maximization Under Uncertainty: Leveraging Side-Observations on Networks

Swapna Buccapatnam, Fang Liu+2 more|arXiv (Cornell University)|Apr 26, 2017

Advanced Bandit Algorithms Research参考文献 13被引用数 11

ひとこと要約

本稿は、二部グラフ構造を用いた側面観測を伴う新しいマルチアームバンディットフレームワークを提案する。ここでの行動は共有未知数に関する情報を露呈する。UCB-LPおよびεt-greedy-LPというポリシーを導入し、ネットワーク上の位置を活用することで、漸近的下界まで定数倍要因の差で達成するレグレットバウンドを実現し、相互に依存する報酬を持つ大規模な行動空間において顕著なスケーラビリティの向上を達成する。

ABSTRACT

We study the stochastic multi-armed bandit (MAB) problem in the presence of side-observations across actions that occur as a result of an underlying network structure. In our model, a bipartite graph captures the relationship between actions and a common set of unknowns such that choosing an action reveals observations for the unknowns that it is connected to. This models a common scenario in online social networks where users respond to their friends' activity, thus providing side information about each other's preferences. Our contributions are as follows: 1) We derive an asymptotic lower bound (with respect to time) as a function of the bi-partite network structure on the regret of any uniformly good policy that achieves the maximum long-term average reward. 2) We propose two policies - a randomized policy; and a policy based on the well-known upper confidence bound (UCB) policies - both of which explore each action at a rate that is a function of its network position. We show, under mild assumptions, that these policies achieve the asymptotic lower bound on the regret up to a multiplicative factor, independent of the network structure. Finally, we use numerical examples on a real-world social network and a routing example network to demonstrate the benefits obtained by our policies over other existing policies.

研究の動機と目的

• 行動が共有未知数を通じて相互に依存する確率的マルチアームバンディット問題を、二部グラフ構造を用いてモデル化すること。
• ネットワークトポロジーに依存するレグレットの漸近的下界を導出すること。この下界は、線形計画法の最適値として表現される。
• ネットワーク構造を活用してレグレットを最小化するポリシー（UCB-LPおよびεt-greedy-LP）の設計と分析を行うこと。
• これらのポリシーが、ネットワーク構造に依存しない乗法的定数因子の差で下界に達することを示すこと。
• 実世界のソーシャルネットワークおよびルーティングネットワークの例を用いて、提案手法の妥当性を検証し、標準的なバンディットポリシーと比較して性能向上を示すこと。

提案手法

• 行動が共有未知数（例：リンク遅延やユーザーの反応性）に接続されている二部グラフを用いてMAB問題をモデル化し、行動を選択することでその接続された未知数に関する観測が得られることを想定する。
• ネットワークの中心性に基づく各行動の最適な探索レートを捉える線形計画法の定式化を用いて、レグレットの漸近的下界を導出する。
• UCB-LPポリシーを提案。これは、平均報酬に対する上側信頼区間と、LPの解から導かれる探索レートを組み合わせることで、活用と探索のバランスを取る。
• εt-greedy-LPポリシーを提案。これは、時間に依存する探索レートをLPの解に比例させて設定し、報酬推定値とは独立して探索を実行する。
• やや弱い仮定の下でレグレット性能を分析し、両ポリシーがネットワークサイズやトポロジーに依存しない乗法的定数因子の差で漸近的下界に達することを証明する。
• 時間の長さが未知の場合のUCB-LPポリシーを、時間長のダブルイングスケジュールを用いて拡張し、対数的レグレットスケーリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 二部グラフ構造で構造化された側面観測を伴うマルチアームバンディット問題における、レグレットの根本的限界（漸近的下界）は何か？
• RQ2 ネットワーク構造を活用することで、相互に依存する報酬を持つマルチアームバンディットにおけるより効率的な探索戦略をどのように設計できるか？
• RQ3 ネットワーク上の位置に基づいて探索を適応的に調整するポリシーは、理論的下界に近いレグレットを達成できるか？
• RQ4 大規模な設定における相互依存する行動を有するネットワークに配慮したポリシーは、標準的なUCBおよびε-グリーディと比較してどのように性能を発揮するか？
• RQ5 時間の長さが未知の場合、提案されたポリシーのレグレットスケーリングはどのようになるか？

主な発見

• レグレットの漸近的下界は、二部グラフ構造に依存する線形計画法の最適値として導出され、性能の理論的ベンチマークを提供する。
• UCB-LPポリシーは、ネットワーク構造に依存しない乗法的定数因子の差で下界に一致するレグレットを達成し、漸近的最適性を証明する。
• εt-greedy-LPポリシーも、報酬推定値を探索に使用しないが、ネットワーク上の位置に依存するため、下界まで定数因子の差で達成する。
• 時間の長さが未知の場合、UCB-LPのレグレットはO(log T)の項に、TおよびΔjの対数因子を加えたものに加え、O(K² log log T)の項で有界であり、スケーラビリティを示す。
• 実世界のソーシャルネットワークおよびルーティングネットワークにおける数値的結果から、UCB-LPおよびεt-greedy-LPが標準的なバンディットポリシーと比較して顕著にレグレットを低減することが示された。
• 性能向上は、共有未知数を通じた効率的な情報共有が可能な大規模な行動空間において特に顕著である。