[論文レビュー] Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks.

Jaromír Janisch, Tomáš Pevný+1 more|arXiv (Cornell University)|Sep 25, 2020

Reinforcement Learning in Robotics参考文献 42被引用数 6

ひとこと要約

この論文は、可変な状態空間と行動空間を持つ関係的環境を扱うために、自己回帰的方策分解を用いたグラフニューラルネットワークベースの深層強化学習フレームワークを提案する。訓練は10×10のバージョンと3つのボックスでのみ行われたが、15×15のソコバン問題の89％をゼロショット一般化で解決した。

ABSTRACT

We focus on reinforcement learning (RL) in relational problems that are naturally defined in terms of objects, their relations, and manipulations. These problems are characterized by variable state and action spaces, and finding a fixed-length representation, required by most existing RL methods, is difficult, if not impossible. We present a deep RL framework based on graph neural networks and auto-regressive policy decomposition that naturally works with these problems and is completely domain-independent. We demonstrate the framework in three very distinct domains and we report the method's competitive performance and impressive zero-shot generalization over different problem sizes. In goal-oriented BlockWorld, we demonstrate multi-parameter actions with pre-conditions. In SysAdmin, we show how to select multiple objects simultaneously. In the classical planning domain of Sokoban, the method trained exclusively on 10x10 problems with three boxes solves 89% of 15x15 problems with five boxes.

研究の動機と目的

• 固定長の表現が不適切な、可変な状態空間と行動空間を持つ関係的環境における強化学習の課題に対処すること。
• オブジェクト、関係、およびそれらの操作を自然にモデル化できるドメインに依存しない強化学習フレームワークを開発すること。
• 複雑な関係的タスクにおける異なる問題サイズ間で、効果的な学習とゼロショット一般化を実現すること。

提案手法

• フレームワークは、オブジェクトとそれらの相互作用をノードとエッジとして捉えることで、関係的状態表現をグラフニューラルネットワークで符号化する。
• 自己回帰的方策分解を用いて、事前条件を伴う複雑で多次元の行動を逐次的に生成する。
• 方策ネットワークは深層強化学習によりエンドツーエンドで訓練され、状態表現と行動選択の共同最適化を可能にする。
• この手法は、SysAdminドメインで示されたように、複数のオブジェクトを同時に選択する行動をサポートする。
• 完全にドメインに依存せず、手動で設計された特徴量に依存せず、関係的構造のみに依存する。
• 可変サイズの入力状態と行動をサポートするため、動的オブジェクト数を伴う問題に適している。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークに基づく深層強化学習フレームワークは、関係的環境において異なる問題サイズにわたってゼロショット一般化できるか？
• RQ2 複数オブジェクトの関係的ドメインにおいて、事前条件を伴う複雑な行動を効果的に処理できるか？
• RQ3 固定長の表現が存在しない環境において、可変な状態空間と行動空間を持つタスクで、効果的な方策を学習できるか？

主な発見

• 訓練は10×10の問題と3つのボックスでのみ行われたが、15×15のソコバン問題において89％の成功率を達成した。
• BlockWorldでは、事前条件を伴う多パラメータ行動を効果的に処理し、複雑な行動の順序付けを示した。
• SysAdminドメインでは、1つの行動内で複数のオブジェクトを同時に選択できるようになり、オブジェクト操作のスケーラビリティを示した。
• 異なる問題サイズ間での強いゼロショット一般化を示し、分布シフトに対して頑健であることを示した。
• 古典的計画とシステム管理タスクを含む3つの異なる関係的ドメインで、競争力のあるパフォーマンスを達成した。