[論文レビュー] Simulation Based Algorithms for Markov Decision Processes and Multi-Action Restless Bandits

Rahul Meshram, Kesav Kaza|arXiv (Cornell University)|Jul 25, 2020

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、大規模な状態空間のため、従来の価値/方策反復が失敗する高次元のマーカフ連鎖意思決定問題（MDP）およびマルチアクション非定常バンディット問題（RMAB）を解くための、シミュレーションに基づくモンテカルロロールアウト方策を提案する。特に、インデックス可能なRMABにおける近似インデックス計算の収束を保証する二時刻スケールの確率的近似スキームを導入し、インデックス不能およびマルチアクションRMABに対してもロールアウト方策を拡張し、予算制約や複雑なダイナミクス下での実行可能性を示している。

ABSTRACT

We consider multi-dimensional Markov decision processes and formulate a long term discounted reward optimization problem. Two simulation based algorithms---Monte Carlo rollout policy and parallel rollout policy are studied, and various properties for these policies are discussed. We next consider a restless multi-armed bandit (RMAB) with multi-dimensional state space and multi-actions bandit model. A standard RMAB consists of two actions for each arms whereas in multi-actions RMAB, there are more that two actions for each arms. A popular approach for RMAB is Whittle index based heuristic policy. Indexability is an important requirement to use index based policy. Based on this, an RMAB is classified into indexable or non-indexable bandits. Our interest is in the study of Monte-Carlo rollout policy for both indexable and non-indexable restless bandits. We first analyze a standard indexable RMAB (two-action model) and discuss an index based policy approach. We present approximate index computation algorithm using Monte-Carlo rollout policy. This algorithm's convergence is shown using two-timescale stochastic approximation scheme. Later, we analyze multi-actions indexable RMAB, and discuss the index based policy approach. We also study non-indexable RMAB for both standard and multi-actions bandits using Monte-Carlo rollout policy.

研究の動機と目的

• 大規模または連続的な状態空間を有する高次元MDPにおいて、価値反復や方策反復が計算的に非現実的となる問題に対処する。
• 特に、弱く結合されたMDPおよび非定常バンディット問題を解くために、シミュレーションベースのアルゴリズム（具体的にはモンテカルロロールアウト方策）を開発する。
• 従来のインデックスに基づく方策がインデックス不能性のため適用できない多行動RMABに、ロールアウトに基づく手法を拡張する。
• 二時刻スケールの確率的近似スキームを用いて、インデックス可能なマルチアクションRMABにおける近似インデックス計算に理論的収束保証を提供する。
• インデックス不能なRMABにおいて、インデックス不能性が確立できない状況でも、ロールアウト方策の実用性を示す。

提案手法

• ベース方策からの軌道サンプリングにより価値関数を近似するモンテカルロロールアウト方策を用い、正確な動的計画法に代える。
• 予算制約下でのアクション選択にグリーディ方策を実装し、$\overline{A} = \{\mathbf{a} \in \mathcal{A} : \sum_{i=1}^N a_i \leq K\}$ で定義される集合を用いる。ここで $a_i$ はアーム $i$ の活性化レベルを表す。
• $\widetilde{Q}_{\pi,T}(\mathbf{x},\mathbf{a}) = \sum_{i=1}^N r_i(\mathbf{x}_i, a_i) + \beta \left[ \frac{1}{L} \sum_{l=1}^L \overline{Q}_{\pi,T}^l(\mathbf{x},\mathbf{a}) \right]$ を用いて状態-アクション価値を推定し、$L$ 個のサンプル軌道における割引報酬を用いる。
• インデックス可能なRMABにおける近似インデックス計算の収束を保証するため、二時刻スケールの確率的近似スキームを適用する。
• インデックス不能なマルチアクションRMABにロールアウト方策を拡張する際、インデックス不能性に依存せず、直接的に軌道をシミュレートし、可能アクション集合上で最適化する。
• グリーディロールアウト方策を用い、サンプルされた状態遷移に基づく予想される将来報酬が最大となるアクションを選択し、予算制約下でも実行可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロロールアウト方策は、大規模または連続的な状態空間を有する高次元MDPにおいて、価値反復や方策反復のスケーラブルな代替手段として機能するか？
• RQ2 従来のウィットルインデックス方策が非インデックス不能性のため失敗するマルチアクション非定常バンディット問題において、ロールアウト方策はどのように適合されるか？
• RQ3 シミュレーションベースの手法を用いたインデックス可能なマルチアクションRMABにおける近似インデックス計算に、どのような理論的保証を設定できるか？
• RQ4 インデックス不能なRMABにおいて、インデックス不能性が仮定できない状況でのロールアウト方策の性能はいかがであるか？
• RQ5 予算制約下での多変数・マルチアクションRMABにロールアウト方策を適用する際の、計算コストと収束のトレードオフはどのようなものか？

主な発見

• 提案されたモンテカルロロールアウト方策は、状態空間の大きさが価値反復や方策反復を計算的に非現実的にする高次元MDPにおいて、正確な動的計画法の代替として実行可能でスケーラブルな代替手段を提供する。
• インデックス可能なRMABでは、二時刻スケールの確率的近似スキームを用いて、近似インデックス計算アルゴリズムの収束を確立し、ウィットルインデックスの信頼性の高い推定を保証する。
• インデックス不能なRMAB、特にマルチアクションバージョンに対しても、ロールアウト方策フレームワークを成功裏に拡張し、閾値構造の欠如によりインデックスベースのヒューリスティクスが適用できない状況でも有効である。
• 可能アクション集合 $\overline{A}$ 上でのグリーディ方策を用いることで、各時刻に最大 $K$ 個のアームしかアクティブにしないという制約下でも、計算上の実行可能性を維持する。
• 限られた計算予算のもとで、最適価値関数の良好な近似が得られ、無線ネットワークやIoTにおけるリアルタイム応用に適している。
• このフレームワークは、制約付きMDP、隠れマルコフモデル、重要度サンプリングの変種などに拡張可能であり、本研究の範囲を超えて広範な応用可能性を示唆している。