[論文レビュー] Learning Action-Transferable Policy with Action Embedding

Yu Chen, Yingfeng Chen+5 more|arXiv (Cornell University)|Sep 5, 2019

Reinforcement Learning in Robotics参考文献 38被引用数 10

ひとこと要約

本稿では、異なる状態空間と行動空間を持つタスク間でのポリシー転送を可能にする、深層強化学習における転移学習のための新規フレームワークであるTRACEを提案する。このフレームワークは、遷移モデルを用いて行動埋め込みを学習し、行動の意味的類似性を捉えることで、ポリシーの転送を実現する。学習済みの埋め込みを介した行動の意味的類似性の活用と、ポリシーおよび遷移モデルの両方の転送により、TRACEはサンプル効率を著しく向上させ、特に困難なクロスドメイン設定においてもベースライン手法を上回る性能を発揮する。

ABSTRACT

Transfer learning (TL) is a promising way to improve the sample efficiency of reinforcement learning. However, how to efficiently transfer knowledge across tasks with different state-action spaces is investigated at an early stage. Most previous studies only addressed the inconsistency across different state spaces by learning a common feature space, without considering that similar actions in different action spaces of related tasks share similar semantics. In this paper, we propose a method to learning action embeddings by leveraging this idea, and a framework that learns both state embeddings and action embeddings to transfer policy across tasks with different state and action spaces. Our experimental results on various tasks show that the proposed method can not only learn informative action embeddings but accelerate policy learning.

研究の動機と目的

• 異なる状態空間と行動空間を持つタスク間でのポリシー転送の課題に取り組む。ここでの課題は、意味的・構造的な不一致により、先行知識の転送が制限される点に起因する。
• 行動の効果に基づき、異なるタスク間で行動の意味的類似性を捉える意味的意味のある行動埋め込みを学習する。
• 共有された状態および行動埋め込みを用いて、ポリシーと遷移モデルの両方を統合的に転送するフレームワークを設計し、ターゲットタスクにおける学習を加速する。
• 行動埋め込みを通じたタスク間の意味的知識の活用により、深層強化学習におけるサンプル効率を向上させる。

提案手法

• 次の状態を現在の状態と行動埋め込みから予測する遷移モデルを訓練することで、意味的に意味のある行動埋め込みの学習が可能になる。
• 行動埋め込みは、状態遷移の再構築を目的とした遷移モデルの訓練を通じて学習され、行動の機能的類似性が捉えられる。
• ポリシーネットワークは、行動埋め込み空間における最近傍探索を用いて行動を選択することで、異なる行動空間間での転送性が実現される。
• ポリシーモデルと遷移モデルの両方が、ソースタスクからターゲットタスクへ転送され、共有された特徴学習によって状態埋め込みが一致する。
• 状態と行動埋め込みがタスク間で一致するように、共同学習手順が設計され、異なるタスクにおける類似した行動が埋め込み空間で近接するように保証される。
• 本フレームワークは、行動埋め込みを用いた意味的類似性を活用することで、ゼロショットポリシー転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 異なる行動空間を持つタスク間で、行動の意味的類似性を的確に捉えることができる行動埋め込みを効果的に学習できるか？
• RQ2 行動埋め込みをどのように活用することで、深層強化学習におけるポリシー転送の効率を向上させられるか？
• RQ3 共有された埋め込みを用いてポリシーと遷移モデルの両方を転送することは、単にポリシーのみ、または単に埋め込みのみを転送する場合よりも、より高いサンプル効率をもたらすか？
• RQ4 提案手法は、状態空間と行動空間が異なるクロスドメイン転送設定において、負の転送を緩和できるか？

主な発見

• TRACEは、商業用MMORPGにおける『サイレント』と『スンナ』といった、類似した効果を持つ行動を明確に区別できる情報豊富な行動埋め込みを学習している。
• 商業ゲームの戦闘タスクにおいて、TRACE-PTはMIKTを上回り、ベースラインの転送（BT）手法とは異なり、負の転送を回避している。
• クロスドメイン転送において、TRACE-PTはBTを著しく上回っており、特に状態空間と行動空間が異なる複雑なタスクでは、BTが負の転送に苦しんでいるのと対照的である。
• アブレーションスタディの結果、ポリシーと遷移モデルの両方を転送する（TRACE-PT）場合が最も優れた性能を示しており、行動埋め込みが適応時間の短縮に重要な役割を果たしていることが判明した。
• 遷移モデルの寄与は顕著であり、TRACE-T（遷移モデルのみを転送）は一部のケースでTRACE-PTとほぼ同等の性能を示しており、行動表現が一般化に不可欠であることが示唆された。
• TRACE-P（ポリシーのみを転送）は依然として学習を加速するが、ターゲットタスクの行動埋め込みの不一致のため、TRACE-PTに比べて性能が劣っている。