[論文レビュー] Joint State-Action Embedding for Efficient Reinforcement Learning

Paul J. Pritz, Liang Ma+1 more|arXiv (Cornell University)|Oct 9, 2020

Reinforcement Learning in Robotics被引用数 2

ひとこと要約

本論文は、モデルベースのアプローチを用いて、状態と行動の共有表現を学習することで強化学習における一般化を向上させる、連携状態行動埋め込み手法を提案する。両空間における類似性を同時に捉えることで、大規模な状態空間および行動空間を有する離散的ドメインにおいて、ゲームやレコメンデーションシステム環境で、最先端のモデルを上回る優れた性能を達成する。

ABSTRACT

While reinforcement learning has achieved considerable successes in recent years, state-of-the-art models are often still limited by the size of state and action spaces. Model-free reinforcement learning approaches use some form of state representations and the latest work has explored embedding techniques for actions, both with the aim of achieving better generalization and applicability. However, these approaches consider only states or actions, ignoring the interaction between them when generating embedded representations. In this work, we propose a new approach for jointly embedding states and actions that combines aspects of model-free and model-based reinforcement learning, which can be applied in both discrete and continuous domains. Specifically, we use a model of the environment to obtain embeddings for states and actions and present a generic architecture that uses these to learn a policy. In this way, the embedded representations obtained via our approach enable better generalization over both states and actions by capturing similarities in the embedding spaces. Evaluations of our approach on several gaming and recommender system environments show it significantly outperforms state-of-the-art models in discrete domains with large state/action space, thus confirming the efficacy of joint embedding and its overall superior performance.

研究の動機と目的

• 既存の強化学習モデルが状態や行動を個別に埋め込み、それらの相互作用を無視するという限界を解消すること。
• 状態と行動の両方の表現を連携してモデル化することで、大規模な離散的状態空間および行動空間における一般化を向上させること。
• 環境モデルを用いて、モデルフリーとモデルベースの学習を統合すること。
• 多様な環境に適応する有効な方策を学習するために、連携埋め込みを活用する汎用アーキテクチャの開発。
• ゲームやレコメンデーションシステムなどの実世界の応用における連携埋め込みの有効性を評価すること。

提案手法

• 本手法は、環境のモデルを用いて、状態および行動の両方の埋め込み表現を生成する。
• 連携状態行動埋め込みを入力として受け取る汎用的なニューラルアーキテクチャを導入し、方策を学習する。
• 埋め込み空間は、状態行動ペア間の意味的類似性を捉え、より良い一般化を可能にする。
• 共有表現学習を通じて、離散的および連続的ドメインの両方に適用可能である。
• 埋め込みは、方策学習中に共同最適化されるエンドツーエンドの訓練が行われる。
• 状態と行動の相互作用を活用することで、単一モodalなアプローチよりも情報量の多い表現が得られる。

実験結果

リサーチクエスチョン

• RQ1 状態のみまたは行動のみの埋め込み手法と比較して、連携状態行動埋め込みは強化学習における一般化を改善できるか？
• RQ2 大規模な離散的状態空間および行動空間を有する環境において、連携埋め込みアプローチはどのように性能を発揮するか？
• RQ3 埋め込み空間で状態行動類似性を捉えることで、方策学習の効率性はどの程度向上するか？
• RQ4 ゲームやレコメンデーションシステムのような多様なドメインにおいて、提案手法は有効であるか？
• RQ5 サンプル効率および最終的性能の観点から、連携埋め込みアーキテクチャは最先端のモデルと比較してどうなるか？

主な発見

• 連携状態行動埋め込みアプローチは、大規模な状態空間および行動空間を有する離散的ドメインにおいて、最先端のモデルを著しく上回る。
• 共有表現を通じて、状態空間および行動空間における類似性を捉えることで、一般化が向上する。
• ゲームやレコメンデーションシステム環境での評価により、連携埋め込み戦略の有効性が確認された。
• 状態や行動を個別に埋め込みするモデルと比較して、提案アーキテクチャは優れた性能を示した。
• 結果から、埋め込み空間における状態と行動の相互作用をモデル化することで、より効果的な方策学習が可能になることが示された。
• 本手法は離 discrete および continuous ドメインの両方で強力な性能を維持しており、広範な適用可能性を示している。