[論文レビュー] Adaptive Skills, Adaptive Partitions (ASAP)

Daniel J. Mankowitz, Timothy Mann+1 more|arXiv (Cornell University)|Feb 10, 2016

Reinforcement Learning in Robotics参考文献 27被引用数 22

ひとこと要約

ASAPは、連続的状態空間において、スキルとその最適な適用ポリシー（スキル間ポリシー）を統合的に学習するフレームワークを提案する。適応的ハイパーハイパーパーティションを用いることで、自動的なスキル再利用とマルチタスク一般化を可能にする。局所最適解に収束し、タスク間でのスキル再利用によって、サンプル複雑性を顕著に低減する。

ABSTRACT

We introduce the Adaptive Skills, Adaptive Partitions (ASAP) framework that (1) learns skills (i.e., temporally extended actions or options) as well as (2) where to apply them. We believe that both (1) and (2) are necessary for a truly general skill learning framework, which is a key building block needed to scale up to lifelong learning agents. The ASAP framework can also solve related new tasks simply by adapting where it applies its existing learned skills. We prove that ASAP converges to a local optimum under natural conditions. Finally, our experimental results, which include a RoboCup domain, demonstrate the ability of ASAP to learn where to reuse skills as well as solve multiple tasks with considerably less experience than solving each task from scratch.

研究の動機と目的

• スキルとその適用場所を同時に学習する汎用的スキル学習フレームワークの必要性に対応する。
• 状態空間の異なる領域および複数のタスク間で、スキルの自動的組み合わせと再利用を可能にする。
• スキル集合とスキル間ポリシーの不適切なモデル指定を、統合最適化によって是正する。
• 学習プロセスに対して自然な条件下で理論的収束保証を提供する。
• 特にRoboCupのような複雑な環境において、連続的状態MDPにおけるスケーラビリティと効率性を示す。

提案手法

• スキルポリシーとスキルパーティションのハイパーハイパーパーティションの両方に対する勾配更新を可能にする一般化された軌道フレームワークを用いて、問題を形式化する。
• 状態空間における特定のスキルが適用される領域を、パラメータ化されたハイパーパーティション（線形または多項式）として表現する。
• スキル内ポリシー（スキル内の行動）とスキル間ポリシー（実行するスキルの選択）を、同時に最適化するためのポリシー勾配アプローチを採用する。
• 学習済みスキルセットとパーティショニングをベイズ的保存メカニズムで保持し、動的適応と再利用を支援する。
• パーティショニングの微分可能表現を用いて、スキルパラメータとハイパーパーティションパラメータ（例：重みとオフセット）の両方に対する勾配更新を適用する。
• 特徴工学（例：RoboCupにおけるエージェント間の相対的位置）をハイパーパーティションの基本関数に組み込み、環境ダイナミクスへの適応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのフレームワークが、連続的状態MDPにおいて最適なスキルとその展開ポリシー（スキル間ポリシー）を同時に学習できるか？
• RQ2 手動指定なしに、状態空間の異なる領域でスキルを自動的に組み合わせて再利用できるか？
• RQ3 初期に不適切なモデル（劣悪なスキルとポリシー）が与えられた場合、統合最適化によってどの程度是正できるか？
• RQ4 RoboCupドメインにおける環境変化（例：ディフェンダーの追加）に、フレームワークはどのように適応するか？
• RQ5 初期学習から訓練するのと比較して、関連する複数のタスクに一般化する際、サンプル複雑性をどの程度低減できるか？

主な発見

• 2次元ナビゲーションタスクにおいて、ASAPは適応的ハイパーハイパーパーティションを用いて、スキルAを状態空間の2つの異なる領域で再利用する能力を学習し、ほぼ最適な性能を達成した。
• RoboCupドメインでは、ASAPは直感的で適応的なスキルパーティショニングを学習した：ディフェンダーの特徴を組み込むと、パーティショニングの形状が意味的に変化し、環境ダイナミクスへの感受性を示した。
• R2ドメインでは、ディフェンダーのx座標を特徴に用いた場合、スキルパーティショニングがより平坦になったが、xおよびy座標の両方を用いた場合、戦略的なディフェンダー周囲りを反映して「圧縮された」パーティショニング形状が得られた。
• R1ドメインでは、線形ハイパーパーティション表現が多項式表現を上回り、より少ないパラメータ数と高速な収束を達成し、ほぼ最適な性能を示した。
• ASAPは初期化に対して頑健であり、すべてがほぼ最適な性能を達成する複数の局所最適解に収束するなど、安定した学習ダイナミクスを示した。
• フレームワークは、タスク間での既存スキルの再利用によって、サンプル複雑性を顕著に低減し、初期学習からの訓練に比べてマルチタスクシナリオで優れた性能を発揮した。