[論文レビュー] Online learning in MDPs with side information

Yasin Abbasi-Yadkori, Gergely Neu|arXiv (Cornell University)|Jun 26, 2014

Advanced Bandit Algorithms Research参考文献 10被引用数 8

ひとこと要約

本稿は、文脈ベクトルに依存する遷移関数および報酬関数を有するエピソード的マルコフ決定過程（MDP）における計算効率の良いオンライン学習アルゴリズムを提案する。この手法は、$ widetilde{\mathcal{O}}(L|\mathcal{S}|^2|\mathcal{A}|(n+m)\sqrt{T})$ のレグレットバウンドを達成し、この設定における最初の理論的保証を提供する。これにより、臨床試験やレコメンデーションシステムなどの応用分野で、患者特有またはユーザー特有の特性に適応する動的方策の実現が可能になる。

ABSTRACT

We study online learning of finite Markov decision process (MDP) problems when a side information vector is available. The problem is motivated by applications such as clinical trials, recommendation systems, etc. Such applications have an episodic structure, where each episode corresponds to a patient/customer. Our objective is to compete with the optimal dynamic policy that can take side information into account. We propose a computationally efficient algorithm and show that its regret is at most $O(\sqrt{T})$, where $T$ is the number of rounds. To best of our knowledge, this is the first regret bound for this setting.

研究の動機と目的

• 臨床試験における患者の検査結果など、側情報ベクトルに依存する遷移関数および報酬関数を有するエピソード的MDPにおけるオンライン学習を扱う。
• 各側情報ベクトルに最適な動的方策に競合可能な計算効率の良いアルゴリズムを設計する。
• この設定における理論的レグレットバウンドを確立する。これまでこの設定にはこのような保証が存在しなかった。
• 個人向け医療やレコメンデーションシステムなどの応用分野において、文脈依存のダイナミクスを活用して適応的意思決定を可能にする。

提案手法

• 各エピソードが新しい患者またはユーザーに対応し、文脈ベクトル $x_t \in \mathbb{R}^d$ を持つ、側情報付きのループフリーなエピソード的MDPとして問題をモデル化する。
• 一般化線形モデルを用いて遷移確率 $P_x(s'|s,a) = \sigma(\varphi(x)^T \theta_*(s',s,a))$ および報酬関数 $r_x(s,a)$ をパラメータ化する。
• 遷移および報酬パラメータの不確実性を表現するために、信頼集合 $\mathcal{P}_x(\bm{\Theta})$ および $\mathcal{R}_x(\bm{\Lambda})$ を用いる。
• 信頼集合上の最大化問題を解くために、効率的な最適化手順（アルゴリズム2）を採用し、時間および空間計算量が $\mathcal{O}(|\mathcal{A}||\mathcal{S}|^2)$ で抑えられるように、計算の実行可能性を確保する。
• 側情報に基づく最適な動的方策との累積報酬差をバウンドする、新しいレグレット解析を導入する。
• 側情報に対応するように変更されたUCRL2フレームワークを用い、非i.i.d.かつ文脈依存のダイナミクスに対しても適切に処理する。

実験結果

リサーチクエスチョン

• RQ1 遷移および報酬関数が側情報ベクトルに依存するエピソード的MDPにおける、計算効率の良いオンライン学習アルゴリズムを設計することは可能か？
• RQ2 この設定で達成可能な最適なレグレットバウンドは何か？ また、エピソード数 $T$ に対して非線形に成長するか？
• RQ3 側情報がMDPのダイナミクスに強く影響を与える状況において、提案手法の性能は既存手法と比べてどのように異なるか？
• RQ4 環境が文脈依存的に非定常的であっても、側情報を活用する最適な動的方策に対するサブラインアーレグレットを達成することは可能か？
• RQ5 側情報やMDPの構造に関する強い仮定に依存せずに、レグレットバウンドを導出することは可能か？

主な発見

• 提案手法は、$ widetilde{\mathcal{O}}(L|\mathcal{S}|^2|\mathcal{A}|(n+m)\sqrt{T})$ のレグレットバウンドを達成し、これは側情報付きMDPにおけるオンライン学習のための最初のバウンドである。
• エピソード数 $T$ に対してレグレットが $O(\sqrt{T})$ のスケーリングを示し、サブラインアーレグレット成長を示し、時間とともに一貫した学習が可能であることを示している。
• 時間および空間計算量が $\mathcal{O}(|\mathcal{A}||\mathcal{S}|^2)$ であるため、実用的導入に適した計算効率の良さを有する。
• 側情報がダイナミクスに強く影響を与える状況では、UCRL2などのベースライン手法よりも性能を上回るが、理論的レグレット要因は高くなる。
• 側情報が有用な場合、動的方策適応を反映しているため、従来の結果よりもレグレットバウンドがタイトである。
• 解析により、遷移および報酬が非i.i.d.かつ高次元の側情報ベクトルに依存する状況でも、アルゴリズムが文脈依存MDPを効果的に学習できることを示した。