[論文レビュー] On the Combinatorial Multi-Armed Bandit Problem with Markovian Rewards

Yi Gai, Bhaskar Krishnamachari+1 more|arXiv (Cornell University)|Dec 14, 2010

Advanced Bandit Algorithms Research参考文献 14被引用数 10

ひとこと要約

本論文は、未知のマルコフ連鎖に従って変化するユーザ-リソース報酬を伴う組合せ的マルチアームバンディット問題を解くため、多項式時間・多項式記憶領域を要するアルゴリズム「マッチング学習」（MLMR）を提案する。この手法は、時間に一様に対数的であるレギュレートを達成し、ユーザ数およびリソース数に対して多項式的依存性を示す。これは、依存的かつi.i.d.でない報酬を伴う超指数的アーム空間において、従来の非最適な境界と比べ顕著に改善されたものである。

ABSTRACT

We consider a combinatorial generalization of the classical multi-armed bandit problem that is defined as follows. There is a given bipartite graph of $M$ users and $N \geq M$ resources. For each user-resource pair $(i,j)$, there is an associated state that evolves as an aperiodic irreducible finite-state Markov chain with unknown parameters, with transitions occurring each time the particular user $i$ is allocated resource $j$. The user $i$ receives a reward that depends on the corresponding state each time it is allocated the resource $j$. The system objective is to learn the best matching of users to resources so that the long-term sum of the rewards received by all users is maximized. This corresponds to minimizing regret, defined here as the gap between the expected total reward that can be obtained by the best-possible static matching and the expected total reward that can be achieved by a given algorithm. We present a polynomial-storage and polynomial-complexity-per-step matching-learning algorithm for this problem. We show that this algorithm can achieve a regret that is uniformly arbitrarily close to logarithmic in time and polynomial in the number of users and resources. This formulation is broadly applicable to scheduling and switching problems in networks and significantly extends prior results in the area.

研究の動機と目的

• 状態依存的でマルコフ連鎖によって制御される報酬を伴うシステムにおいて、最適なユーザ-リソースマッチングを学習する課題に対処すること。
• 超指数的数の可能なマッチングを有するにもかかわらず、多項式的記憶領域と1ステップあたりの計算量を維持するスケーラブルな学習方策を設計すること。
• 各ユーザ-リソースペアのマルコフ連鎖パラメータが未知である状況下で、最適な静的マッチングとアルゴリズムのパフォーマンスの差（すなわち、レギュレート）を最小化すること。
• システムサイズ（M, N）に対して時間に一様に対数的であり、かつマルコフ連鎖の性質に関する事前知識が全くない場合でも成立する理論的レギュレート境界を確立すること。

提案手法

• アルゴリズムは各ユーザ-リソースマッチングを1つのアームとして扱い、観測された報酬の標本平均に基づく信頼区間から導かれる新しい探索戦略を用いる。
• 各ユーザ-リソースペア (i,j) に対して、経験的報酬推定値 $\hat{\theta}_{i,j}$ を維持し、各割り当て後に更新する。
• グリーディーなアプローチを用いて、上側信頼区間が大きなアームを優先してマッチングを選択することで、探索と活用のバランスを取る。
• 主な技術的要素として、Anantharamら（1987）の補題1に基づく停止時刻の議論を用い、状態滞在時間の推定値とその定常期待値との乖離を制御する。
• レギュレート解析では、各マルコフ連鎖の固有値ギャップ $\epsilon_{i,j}$ を用いて混合時間の制御を行い、経験的推定値の迅速な収束を保証する。
• 非最適マッチングが対数的回数しか選択されないことを保証することで、きびしいレギュレート境界を達成する。

実験結果

リサーチクエスチョン

• RQ1 超指数的数のマッチングを有する組合せ的マルチアームバンディット問題に対して、マルコフ的報酬を伴うスケーラブルな学習方策を設計できるか？
• RQ2 アーム間で報酬が依存的かつi.i.d.でない場合、探索と活用の根本的トレードオフは何か？
• RQ3 基礎となるマルコフ連鎖のパラメータが未知であっても、時間に一様に対数的であるようにレギュレートを束縛できるか？
• RQ4 マルコフ連鎖の固有値ギャップは、学習方策の収束速度とレギュレートパフォーマンスにどのように影響を与えるか？

主な発見

• 提案されたMLMRアルゴリズムは、時間に一様に対数的であり、ユーザ数 $M$ およびリソース数 $N$ に対して多項式的依存性を示すレギュレート境界を達成する。
• マルコフ連鎖にやや厳しい仮定（例：有界な固有値ギャップ）が成立する場合、レギュレートは $O(\log T)$ に成長し、$T$ を時間、$M$ および $N$ に対して多項式的となる。
• マルコフ連鎖のパラメータに関する事前知識が全くなくても、信頼区間の幅を調整することで、レギュレートを対数的であるように任意に近づけることができる。
• アルゴリズムは多項式的記憶領域のみを用い、1ステップあたりの計算も多項式的時間で実行され、大規模システムに対してもスケーラブルである。
• 標準的なマルチアームバンディット手法とは異なり、アーム数 $P(N,M)$ に比例して線形レギュレートが生じるのではなく、よりタイトな境界が得られる。
• 理論的解析では、マルコフ連鎖に対する停止時刻の境界の新しい応用に依拠しており、経験的報酬推定値が真の平均に迅速に収束することを保証する。