[論文レビュー] XLVIN: eXecuted Latent Value Iteration Nets

Andreea Deac, Petar Veličković+4 more|arXiv (Cornell University)|Oct 25, 2020

Reinforcement Learning in Robotics参考文献 47被引用数 6

ひとこと要約

XLVINsは、対照的自己教師あり学習、グラフニューラルネットワーク、ニューラルアルゴリズム的推論を組み合わせることで、未知の連続的または不規則なマルコフ決定過程（MDPs）に値反復ネットワーク（VINs）を一般化する画期的な暗黙的計画フレームワークを導入する。このモデルは、既知の環境ダイナミクスを必要とせず、潜在空間で値反復を実行する能力を学習し、モデルフリーのベースラインを上回り、特にデータが少ない状況でもVINの性能に匹敵する。

ABSTRACT

Value Iteration Networks (VINs) have emerged as a popular method to incorporate planning algorithms within deep reinforcement learning, enabling performance improvements on tasks requiring long-range reasoning and understanding of environment dynamics. This came with several limitations, however: the model is not incentivised in any way to perform meaningful planning computations, the underlying state space is assumed to be discrete, and the Markov decision process (MDP) is assumed fixed and known. We propose eXecuted Latent Value Iteration Networks (XLVINs), which combine recent developments across contrastive self-supervised learning, graph representation learning and neural algorithmic reasoning to alleviate all of the above limitations, successfully deploying VIN-style models on generic environments. XLVINs match the performance of VIN-like models when the underlying MDP is discrete, fixed and known, and provides significant improvements to model-free baselines across three general MDP setups.

研究の動機と目的

• 値反復ネットワーク（VINs）の制限を克服すること。VINsは既知の離散的かつ固定されたMDPを必要とし、計画に対する明示的なインcentiveを欠いている。
• 基礎的な状態空間が明示的に定義されない、または保存されない連続的または未知のMDPにおいて、暗黙的計画を可能にすること。
• 訓練時に合成的で整合性のないグラフを使用しても、環境間で堅牢かつ転送可能な計画モジュールを設計すること。
• ニューラルアルゴリズム的推論と自己教師あり表現学習を統合し、潜在空間で値反復を実行する方向にモデルを誘導すること。

提案手法

• 真のMDPが与えられない状況でも、状態と行動のTransEスタイル埋め込みを用いた対照的自己教師あり学習により、観測データから環境ダイナミクスを推定する。
• メッセージパッシングを備えたグラフニューラルネットワーク（GNN）を用い、潜在空間における部分的に推定されたMDPを走査することで、不規則または連続的状態空間における計画を可能にする。
• ベルマンバックアップの構造を模倣する微分可能で学習可能な値反復実行モジュールを導入し、値反復のアルゴリズム的挙動と整合性を保証する。
• 対照的目的関数を用いて訓練された潜在遷移モデルにより、状態間の構造的関係を保持し、埋め込み空間での正確な計画を可能にする。
• 計画モジュールとポリシーネットワーク（PPO）を組み合わせ、計画と制御を同時に最適化することで、モデルフリーとモデルベースの信号を強固に統合する。
• ポリシー勾配法を用いて、計画モジュールがアルゴリズム的インダクティブバイアスを通じて長時間スパンのタスクを暗黙的に学習するように、エンドツーエンドで全システムを訓練する。

実験結果

リサーチクエスチョン

• RQ1 遷移ダイナミクスが事前に提供されない連続的または未知のMDPに、暗黙的計画を効果的に一般化できるか？
• RQ2 MDP構造への明示的アクセスがなくとも、ニューラルネットワークが潜在空間で値反復を実行できるように訓練できるか？
• RQ3 自己教師ありダイナミクスモデルは、真の環境ダイナミクスが欠落している状況でも、効果的な計画を支援できるか？
• RQ4 ニューラルアルゴリズム的推論の使用は、多様な環境間で計画モジュールの堅牢性と転送性を向上させるか？
• RQ5 モデルフリーのベースラインが失敗するようなデータが少ない状況でも、XLVINsは性能を維持できるか？

主な発見

• XLVINsは、グリッドワールドのような既知の離散的MDPにおいて、標準的なVINsと同等の性能を示し、値反復のインダクティブバイアスが保持されていることを裏付けた。
• CartPole、Acrobot、MountainCarといった連続状態環境では、XLVINsはモデルフリーのPPOベースラインを著しく上回り、スカラ値予測に依存するATreeCでさえも上回った。
• Atari環境では、最初の50万ステップ間において、XLVINsはATreeCとPPOベースラインを常に上回り、特にデータが少ない状況で優れた性能を示した。
• モデルの計画実行モジュールは環境間で一般化可能であり、ランダムに生成されたグラフで訓練した後、Enduroや迷路走破といった実世界のタスクに成功して転送された。
• 定性的な分析から、XLVINsはゴールへの最短経路に近い関係を反映するように潜在状態埋め込みを再編成する能力を学習していることが示された。これは、潜在空間での効果的な計画を示している。
• アブレーションスタディーでは、ピクセルベースのワールドモデルはXLVINsを支援できず、スカラ値ベースのプランナーよりもATreeCが劣ることが判明し、潜在空間におけるグラフベース計画モジュールの重要性が強調された。