[論文レビュー] Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning

Philippe Hansen-Estruch, Amy Zhang+3 more|arXiv (Cornell University)|Apr 27, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、関数的に同値な状態表現を学習することで、類似したタスク間でスキルを一般化できる表現学習手法であるゴール条件付きバイシミュレーション（GCB）を提案する。状態-ゴールペアのメトリックに基づく抽象化を活用することで、GCBは類似したタスクの例からゴールを推論するポリシーを可能にし、未観測のゴール一般化タスクで40%の成功を達成し、特に干渉要因がある条件下でも、先行する自己教師付き手法を上回る性能を示す。

ABSTRACT

Building generalizable goal-conditioned agents from rich observations is a key to reinforcement learning (RL) solving real world problems. Traditionally in goal-conditioned RL, an agent is provided with the exact goal they intend to reach. However, it is often not realistic to know the configuration of the goal before performing a task. A more scalable framework would allow us to provide the agent with an example of an analogous task, and have the agent then infer what the goal should be for its current state. We propose a new form of state abstraction called goal-conditioned bisimulation that captures functional equivariance, allowing for the reuse of skills to achieve new goals. We learn this representation using a metric form of this abstraction, and show its ability to generalize to new goals in simulation manipulation tasks. Further, we prove that this learned representation is sufficient not only for goal conditioned tasks, but is amenable to any downstream task described by a state-only reward function. Videos can be found at https://sites.google.com/view/gc-bisimulation.

研究の動機と目的

• 正確なゴール画像を必要とせずに、類似したタスク間でスキルを一般化できるように、関数的に同値な表現を学習すること。
• 静的状態不変性ではなく、状態-ゴール遷移に基づくタスクレベルの類似性を捉える表現学習目的を開発すること。
• ゴール条件付きおよび状態のみの報酬タスクの両方をサポートする包括的な表現を設計すること。
• 類似したデモンストレーションからゴールを推論する必要があるシミュレーション環境で、手法を評価すること。

提案手法

• ポリシー行動の下で機能的に同等となるタスク（状態-ゴールペア）をグループ化する状態抽象化の一種として、ゴール条件付きバイシミュレーション（GCB）を導入する。
• 関数的類似性を測るためのメトリックに基づく距離関数を定義し、タスクの連続的埋め込み空間を可能にする。
• 類似したタスク抽象化が埋め込み空間で近くなるように促進するコントラスト型目的を用いて、構成的表現を学習する。
• 各状態が状態とタスク抽象化の共同埋め込みで表現されるペアド状態埋め込み空間を用い、ゴール転送を可能にする。
• あらゆる状態のみの報酬関数に対してパフォーマンス一般化を保証する、新しい価値境界を適用する。
• 環境からのデモンストレーションと遷移のみを用いて、自己教師付きコントラスト学習目的で表現を訓練する。

実験結果

リサーチクエスチョン

• RQ1 正確なゴール画像を必要とせずに、類似したタスクから新しいゴールを推論できる表現を学習できるか？
• RQ2 類似したタスクが唯一のゴール記述子として提供された場合、学習された表現が未観測の環境にどの程度一般化できるか？
• RQ3 提案されたGCB表現は、標準的なゴール条件付き強化学習ベンチマークで、既存の自己教師付き表現学習手法を上回るか？
• RQ4 学習された表現が、状態のみの報酬関数で定義される任意の下流タスクに十分か？
• RQ5 異なる視覚的およびタスク設定（例えば、異なる物体の形状やサイズ）において、関数的同値性を捉えることができるか？

主な発見

• GCBは、類似したタスクからゴールを推論する必要があるゴール一般化ベンチマークで平均40%の成功を達成し、強力な類推的推論能力を示している。
• 干渉要因のない標準的なゴール到達タスクでは、Drawer環境で50%以上の成功を達成し、VAEとCCVAEを除くすべての他の表現学習ベースラインを上回っている。
• 実際の動画干渉要因がある条件下では、ButtonおよびDrawer環境の両方でGCBが最も優れた性能を示し、視覚的ノイズに対して高い耐性を示している。
• アブレーションスタディにより、構成的単一状態表現ψが不可欠であることが確認され、ψを含まないGC-DBCは著しく性能が劣っている。
• 理論的分析により、GCB埋め込み空間におけるℓ₁距離が状態間の価値差を上限として保証することが示され、あらゆる状態のみの報酬関数に対してパフォーマンス一般化が保証される。
• 図5の定性的分析により、GCB表現が、たとえばニンジンとレッドビートをみじん切りにするような類似したタスク変換を、異なる初期状態間でマッピングすることで、関数的類似性を捉えていることが確認されている。