[論文レビュー] Contextual Markov Decision Processes

Assaf Hallak, Dotan Di Castro+1 more|arXiv (Cornell University)|Feb 8, 2015

Reinforcement Learning in Robotics参考文献 24被引用数 72

ひとこと要約

本稿では、ユーザーの人口統計的属性など、隠れた静的文脈下での順序的意思決定をモデル化するためのフレームワークとして、文脈付きマルコフ決定過程（CMDP）を導入する。探索、クラスタリング、活用を統合したモジュラーなアルゴリズムCECEを提案し、文脈依存のMDPを、保証されたレグレットバウンドで学習可能にする。データ量の増加や遷移の長さの延長に伴い、性能が向上することを示している。

ABSTRACT

We consider a planning problem where the dynamics and rewards of the environment depend on a hidden static parameter referred to as the context. The objective is to learn a strategy that maximizes the accumulated reward across all contexts. The new model, called Contextual Markov Decision Process (CMDP), can model a customer's behavior when interacting with a website (the learner). The customer's behavior depends on gender, age, location, device, etc. Based on that behavior, the website objective is to determine customer characteristics, and to optimize the interaction between them. Our work focuses on one basic scenario--finite horizon with a small known number of possible contexts. We suggest a family of algorithms with provable guarantees that learn the underlying models and the latent contexts, and optimize the CMDPs. Bounds are obtained for specific naive implementations, and extensions of the framework are discussed, laying the ground for future research.

研究の動機と目的

• ユーザーの年齢、性別、または場所など、観測されない静的文脈に依存する環境の動的特性を学習・最適化する課題に対処すること。
• ユーザーのアイデンティティが初期相互作用時に不明であるオンラインシステムにおけるコールドスタート問題を克服すること。
• 文脈同定とポリシー最適化を分離することで、標準的なMDPやPOMDPよりも一般化性能を向上させる、取り扱いやすくモジュラーなフレームワークを構築すること。
• 有限時間のエピソード設定において、既知で少数の文脈が存在する条件下で、レグレットと収束に関する理論的保証を提供すること。
• 無限の文脈、並列強化学習、大規模な状態／行動空間におけるスケーラブルな学習への今後の研究の基盤を築くこと。

提案手法

• 遷移関数と報酬関数が隠れた静的文脈変数に依存する新しいモデル、文脈付きMDP（CMDP）を提案する。
• 探索、クラスタリング、活用の3フェーズから成るCECEアルゴリズムを設計する。探索フェーズでは軌道を収集し、クラスタリングフェーズで文脈を同定する。
• 文脈分類後、Q学習を活用ポリシーとして用い、識別フェーズでは一様な探索を実施する。
• 各識別された文脈クラスタ内でのMDPパラメータを最尤推定法で学習する。
• 文脈の誤分類と最適でないポリシー学習の両方を考慮したレグレット分析フレームワークを導入する。
• パラメトリック感度分析を用いて、探索比 $\eta = T_{EC}/T$ などの主要ハイパーパrameterの性能トレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 有限時間のエピソード設定において、保証付きの性能で、潜在的なMDPパラメータと隠れた文脈を同時に学習できるか？
• RQ2 文脈同定に専用フェーズを要する場合、探索と活用のトレードオフは性能にどのように影響するか？
• RQ3 文脈数の増加が、学習効率とレグレットに与える影響は何か？
• RQ4 モデルベースまたは報酬指向の分類を用いることで、文脈クラスタリングはどのように改善できるか？
• RQ5 無限の文脈や並列学習設定へのCMDPの拡張において、理論的および実用的な課題は何か？

主な発見

• エピソード数の増加や軌道長の延長に伴い、平均報酬が上昇しており、時間の経過とともに文脈クラスタリングとモデル学習が改善されていることが示唆される。
• 文脈数の増加に伴い、正確なクラスタリングとモデル同定の難易度が上昇するため、性能が劣化する。
• 探索比 $\eta = T_{EC}/T$ は明確なトレードオフを示している：高い探索は文脈検出を向上させるが、ポリシー最適化に割く時間が減少する。
• 最適なクラスタリングが行われたとしても、識別フェーズの固有のコストにより、最適報酬と達成報酬の間にギャップが生じる。
• 特定の仮定の下で、CECEアルゴリズムは保証されたレグレットバウンドを達成しており、有限文脈設定における理論的妥当性を示している。
• 無限の文脈や並列強化学習への拡張は、さらなる理論的発展と明確な定式化を要する未解決の問題として特定されている。