[論文レビュー] Clustering Markov Decision Processes For Continual Transfer

Maqsood Mahmud, Majd Hawasly+2 more|arXiv (Cornell University)|Nov 15, 2013

Reinforcement Learning in Robotics参考文献 47被引用数 18

ひとこと要約

本稿では、以前に解かれたマルコフ決定過程（MDP）の多数の集合を、各元のMDPがレグレットがε未塔であるようなソース方策を持つ最小のソース部分集合（ε-ネット）を選び出すことで、コン pact に表現するクラスタリングフレームワークを提案する。EXP-3-Transfer と呼ばれる方策再利用アルゴリズムと、新しい MDP 距離測度 $d_V$ とコスト関数 $g(\cdot)$ を用いた、証明可能に収束するクラスタリングアルゴリズム MHAV を導入し、高いタスク複雑性を示す監視タスクにおける継続的強化学習において、より優れたサンプル効率を示している。

ABSTRACT

We present algorithms to effectively represent a set of Markov decision processes (MDPs), whose optimal policies have already been learned, by a smaller source subset for lifelong, policy-reuse-based transfer learning in reinforcement learning. This is necessary when the number of previous tasks is large and the cost of measuring similarity counteracts the benefit of transfer. The source subset forms an `$ε$-net' over the original set of MDPs, in the sense that for each previous MDP $M_p$, there is a source $M^s$ whose optimal policy has $

研究の動機と目的

• 以前に解かれたMDPの数が増えた場合の継続的強化学習におけるスケーラビリティの課題に対処すること。特に、類似度測定コストが転移の利点を上回る状況である。
• 各以前のMDPがレグレット < ε であるようなソース方策を持つ、最小で代表的なソースMDP部分集合（ε-ネット）を体系的かつ原理的につくること。
• 選択されたソース部分集合を最適に活用する、EXP-3-Transfer と呼ばれる方策再利用アルゴリズムを設計すること。
• 方策に基づくMDP間の類似度を評価するコスト関数に基づいて、最適または近似的に最適なソース部分集合を生成する、証明可能に収束するアルゴリズム（MHAV）を含むクラスタリングフレームワークを構築すること。
• 動的侵入パターンを示す監視ドメインにおいて、タスク複雑性の増加に伴って、本手法の有効性を検証すること。

提案手法

• 最適価値関数の差に基づき、MDP間の類似度を測る方策ベースのMDP距離測度 $d_V$ を導入する。
• 選択されたソース部分集合が元のMDP集合をどれだけ低レグレットでカバーできるかを評価するためのコスト関数 $g(\cdot)$ を定義する。
• メトロポリス・ハスティングス採択を用いたMCMCベースのアルゴリズムであるMHAVを提案し、クラスタ構成の探索と最適クラスタリングへの収束を実現する。
• クラスタ構成の遷移モデルを構築し、マージ、分割、クラスタ間の移動を含む詳細な提案分布を定義し、詳細平衡を保証する。
• MHAVで対称的な提案比を用いることで、詳細平衡を維持し、クラスタリングの定常分布への収束を保証する。
• クラスタリングフレームワークと、レグレットバウンドを備えた、文脈バンディット風のアルゴリズムであるEXP-3-Transferを統合する。

実験結果

リサーチクエスチョン

• RQ1 以前に解かれたMDPのコンパクトなソース部分集合を自動的に選択可能か。その際、すべての新しいMDPがレグレット < ε であるソース方策を持つ。
• RQ2 効果的なクラスタリングを導くために、MDP間の方策ベースの類似度を形式的にどのように測定できるか。
• RQ3 証明可能に収束するクラスタリングアルゴリズムを設計でき、転移学習のための最適または近似的に最適なソース部分集合を生成できるか。
• RQ4 提案されたクラスタリングフレームワークは、単純な方策再利用に比べ、継続的強化学習におけるサンプル効率を向上させるか。
• RQ5 クラスタリング＋EXP-3-Transferの統合システムの性能は、過去のタスク数や複雑性の増加に伴ってどのように変化するか。

主な発見

• 提案されたMHAVクラスタリングアルゴリズムは、クラスタリングの定常分布に収束し、ソースMDPの信頼性の高い選択を保証する。
• タスク複雑性と過去のタスク数が増加する監視タスクにおいて、クラスタリングを組み合わせたEXP-3-Transferは、標準的な方策再利用とQ学習を上回る性能を示す。
• 過去のタスク数とタスク複雑性が低い状況では、クラスタリングなしの方策再利用がより優れていたが、複雑性が増すとその優位性は薄れる。
• クラスタリングフレームワークは、MDP集合のコンパクトな表現により、類似度測定の計算コストを顕著に低減する。
• 累積報酬曲線から、本手法が高複雑度環境で優位であることが確認され、継続的転移のためのクラスタリングの有効性が裏付けられる。
• 時間比較の結果、複雑なシナリオにおいて特に顕著に、クラスタリングベースのアプローチが低い学習時間と低い分散を維持していることが示された。