[論文レビュー] Transfer with Model Features in Reinforcement Learning

Lucas Lehnert, Michael L. Littman|arXiv (Cornell University)|Jul 4, 2018

Reinforcement Learning in Robotics参考文献 11被引用数 4

ひとこと要約

本稿では、遷移関数と報酬関数が異なるタスク間で強化学習における効率的な知識移譲を可能にするために、行動的に同等の状態をクラスタリングする表現「Model Features」を導入する。新たな最適化目的関数を定式化し、モデル圧縮への収束を証明することで、動的特性が異なるタスク間でも正確な価値関数近似と移譲性能を実現する。

ABSTRACT

A key question in Reinforcement Learning is which representation an agent can learn to efficiently reuse knowledge between different tasks. Recently the Successor Representation was shown to have empirical benefits for transferring knowledge between tasks with shared transition dynamics. This paper presents Model Features: a feature representation that clusters behaviourally equivalent states and that is equivalent to a Model-Reduction. Further, we present a Successor Feature model which shows that learning Successor Features is equivalent to learning a Model-Reduction. A novel optimization objective is developed and we provide bounds showing that minimizing this objective results in an increasingly improved approximation of a Model-Reduction. Further, we provide transfer experiments on randomly generated MDPs which vary in their transition and reward functions but approximately preserve behavioural equivalence between states. These results demonstrate that Model Features are suitable for transfer between tasks with varying transition and reward functions.

研究の動機と目的

• 遷移ダイナミクスと報酬関数が異なる強化学習タスク間で、知識を効率的に移譲する課題に対処すること。
• 行動的に同等の状態をクラスタリングする特徴表現を開発し、報酬予測に必要なダイナミクスを保持すること。
• 収束がモデル圧縮に至るような学習目的関数を形式化し、予測力の損失を最小限に抑えること。
• 報酬関数のみが変化する状況でも Model Features が有効な移譲を可能にすることを示し、従来の共有ダイナミクスに依存する手法を超えること。
• 提案された目的関数を最小化することで、モデル圧縮の近似が次第に高精度になるという理論的境界を示すこと。

提案手法

• 行動的に同等の状態に同一のベクトルを割り当てる特徴表現として Model Features を提案し、効果的にモデル圧縮を実現する。
• 元の遷移ダイナミクスと圧縮されたダイナミクスの差を最小化する新たな最適化目的関数を導入し、特徴を学習する。
• 理論的境界を導出し、目的関数を最小化することでモデル圧縮のより良い近似が得られ、誤差が目的関数の最小化に伴い減少することを示す。
• Successor Featuresアーキテクチャを変更して Model Features を学習可能にし、深層ニューラルネットワークを用いたエンドツーエンド学習を可能にする。
• Successor Featureフレームワークを用いて、Model Features の学習がモデル圧縮されたMDPの学習に等価であることを示す。
• 行列ノルムとスペクトル境界を用いて近似誤差を分析し、価値関数誤差が報酬および遷移の近似誤差によって有界であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 行動的に同等の状態をクラスタリングする特徴表現を学習可能であり、異なる遷移関数と報酬関数を持つタスク間での移譲を可能にするか？
• RQ2 提案された最適化目的関数を最小化することで、MDPにおけるモデル圧縮のより良い近似が得られるか？
• RQ3 ダイナミクスが異なる状況下での移譲学習において、Model Features の性能は従来の手法（例：Successor Features）と比べてどうか？
• RQ4 モデル圧縮下でも、価値関数の予測精度をどの程度保持できるか？
• RQ5 最適化目的関数を最小化するに従い、学習された特徴が正当なモデル圧縮に収束する理論的保証はあるか？

主な発見

• Model Features は、30×3のグリッドワールドにおいて列が単一状態に統合されても予測力に損失がないことから、行動的に同等の状態を適切にクラスタリングしていることが実証された。
• 提案された最適化目的関数により、目的関数を最小化するに従い、モデル圧縮の近似が次第に高精度になることが保証され、誤差伝播に関する理論的境界が得られた。
• 価値関数近似誤差が有界であり、報酬および遷移の近似誤差が減少するに従い、誤差の上界も減少することが示された。
• ランダムに生成されたMDPにおける移譲実験から、Model Features は遷移関数が異なるタスク間でも効果的な知識移譲を可能にした。
• 理論的分析により、価値関数近似誤差が、割合係数（割引率）を乗じた報酬近似誤差と遷移近似誤差によって有界であることが証明された。
• ダイナミクスが異なる状況下では、従来の標準的 Successor Features よりも Model Features が優れた性能を示した。これは、Model Features が共有遷移関数に制限されないためである。