[論文レビュー] Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning

Riashat Islam, Hongyu Zang+7 more|arXiv (Cornell University)|Nov 1, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、目的付き強化学習における目的の離散的・因子的表現を学習するための手法である離散的ゴール表現学習（DGRL）を提案する。連続的なゴール埋め込みに離散化ボトルneckを課すことにより、分布外のゴールへの一般化性能が向上し、階層的計画が可能となり、迷路ナビゲーションおよびロボット操作タスクにおいて最先端の性能を達成する。さらに、サンプル効率と頑健性が向上している。

ABSTRACT

Goal-conditioned reinforcement learning (RL) is a promising direction for training agents that are capable of solving multiple tasks and reach a diverse set of objectives. How to extit{specify} and extit{ground} these goals in such a way that we can both reliably reach goals during training as well as generalize to new goals during evaluation remains an open area of research. Defining goals in the space of noisy and high-dimensional sensory inputs poses a challenge for training goal-conditioned agents, or even for generalization to novel goals. We propose to address this by learning factorial representations of goals and processing the resulting representation via a discretization bottleneck, for coarser goal specification, through an approach we call DGRL. We show that applying a discretizing bottleneck can improve performance in goal-conditioned RL setups, by experimentally evaluating this method on tasks ranging from maze environments to complex robotic navigation and manipulation. Additionally, we prove a theorem lower-bounding the expected return on out-of-distribution goals, while still allowing for specifying goals with expressive combinatorial structure.

研究の動機と目的

• 高次元的でノイジーな観測空間における目的付き強化学習のための、目的の接地と明示的定義の課題に対処すること。
• 目的の構造的で離散的な表現を学習することで、分布外のゴールへの一般化性能を向上させること。
• 意味的に意味のある離散的サブゴールを提供することにより、階層的強化学習を可能にすること。
• 離散化ボトルneckが多様な目的付き強化学習環境における性能と一般化性能を向上させることを実証すること。

提案手法

• 本手法は、連続的なゴール埋め込みを学習可能なコードブックの離散的トークンに変換するためのベクトル量子化（VQ）モジュールを採用する。
• ゴール表現にVQに基づく離散化ボトルneckを適用し、連続的な視覚的または状態ベースのゴールを離散的・因子的コードに変換する。
• 離散的ゴールコードは、ハイレベルポリシーが離散的サブゴールを選択し、ローレベルポリシーがそれらに到達するための行動を実行する階層的強化学習設定におけるサブゴールとして使用される。
• 本手法は目的付き強化学習アルゴリズム（RIS）に統合されており、離散化モジュールは再構成損失とコミットメント損失を用いて学習される。
• 新しいゴールの組み合わせが学習済みの離散的コードから構成可能であるため、構成的一般化を可能にする。
• 標準的な強化学習の目的関数とベクトル量子化損失を組み合わせて、エンドツーエンドに訓練することで、分離可能で離散的な表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 離散的・因子的ゴール表現は、目的付き強化学習における分布外のゴールへの一般化性能を向上させることができるか？
• RQ2 離散化ボトルneckを適用することで、複雑なナビゲーションおよび操作タスクにおけるサンプル効率と性能にどのような影響を与えるか？
• RQ3 離散的ゴールコードは、階層的強化学習における効果的なサブゴールとしてどれほど有効に機能するか？
• RQ4 因子的表現の使用により、未学習のゴールの組み合わせに対するゼロショット一般化がより良く達成できるか？
• RQ5 多様なゴール分布にわたる頑健性と一般化性能の観点から、DGRLはベースライン手法と比べてどのように差をつけるか？

主な発見

• DGRLは、迷路環境およびロボット操作タスクを含む、多様な目的付き強化学習ベンチマークで最先端の性能を達成した。
• 分布外のゴールへの一般化性能が顕著に向上し、学習中に見られなかったゴールの組み合わせでも性能向上が観察された。
• 離散的・因子的表現の使用により、高い成功確率に到達するための相互作用回数が削減され、よりサンプル効率の高い学習が実現した。
• 理論的分析により、離散化ボトルneckが分布外のゴールに対する期待報酬の下界を提供することが示され、一般化を支援することが裏付けられた。
• 実験的結果から、ベクトル量子化により学習された離散的コードは意味的に意味があり、構成的であることが確認され、効果的な階層的計画が可能であることが示された。
• 本手法は、ピクセルベースの観測および複雑なロボットシミュレータを含む多様な環境で高い性能を維持しており、その頑健性とスケーラビリティが検証された。