[論文レビュー] Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning

Richard Li, Allan Jabri+2 more|arXiv (Cornell University)|Dec 23, 2019

Reinforcement Learning in Robotics参考文献 63被引用数 21

ひとこと要約

本論文は、グラフニューラルネットワーク（GNN）と注目メカニズムを用いた関係的強化学習フレームワークを提案し、スパarselyリwardedな環境下で多対象操作タスクにおいてデータ効率的でゼロショット一般化を実現する。オブジェクト数を段階的に増加させるカリキュラムと、関係的推論のためのインダクティブバイアスを組み合わせることで、訓練後に未学習の構成（ピラミッドや高層のタワーなど）に対しても一般化が可能となり、追加の訓練を必要としない。

ABSTRACT

Learning robotic manipulation tasks using reinforcement learning with sparse rewards is currently impractical due to the outrageous data requirements. Many practical tasks require manipulation of multiple objects, and the complexity of such tasks increases with the number of objects. Learning from a curriculum of increasingly complex tasks appears to be a natural solution, but unfortunately, does not work for many scenarios. We hypothesize that the inability of the state-of-the-art algorithms to effectively utilize a task curriculum stems from the absence of inductive biases for transferring knowledge from simpler to complex tasks. We show that graph-based relational architectures overcome this limitation and enable learning of complex tasks when provided with a simple curriculum of tasks with increasing numbers of objects. We demonstrate the utility of our framework on a simulated block stacking task. Starting from scratch, our agent learns to stack six blocks into a tower. Despite using step-wise sparse rewards, our method is orders of magnitude more data-efficient and outperforms the existing state-of-the-art method that utilizes human demonstrations. Furthermore, the learned policy exhibits zero-shot generalization, successfully stacking blocks into taller towers and previously unseen configurations such as pyramids, without any further training.

研究の動機と目的

• スパarselyリwardedな環境下での多対象操作タスクにおける強化学習のデータ非効率性の課題に取り組む。
• 知識の転送のためのインダクティブバイアスが不足しているため、カリキュラム学習が多対象タスクで失敗する問題を克服する。
• 追加の訓練なしに、より長いタワーおよびピラミッドのような新しい構成にゼロショット一般化を可能にする。
• スパarselyリwardedな報酬とシンプルなカリキュラムのみを用いて、ゼロから学習するデータ効率的なRLフレームワークを設計する。

提案手法

• 本手法は、注目に基づくグラフニューラルネットワークに裏打ちされた関係的ニューラルネットワーク（ReNN）を用い、オブジェクト間の相互作用をモデル化する。
• ReNNはオブジェクト間の注目スコアを計算し、操作行動中に関連するブロックに注目する。
• カリキュラム戦略により、オブジェクト数を2から6まで段階的に増加させ、各段階が習得された時点で次の段階に進む。
• ポリシーは、密集した報酬や人的な示範なしに、スパarselyリwardedな終端報酬を用いて深層強化学習で訓練される。
• モデルは関連するオブジェクトに注目することで、複雑なタスクを部分問題に分解し、タスク間での転移を可能にする。
• フレームワークはシミュレーションで訓練され、未学習の構成やオブジェクト数への一般化性が評価される。

実験結果

リサーチクエスチョン

• RQ1 関係的推論のためのインダクティブバイアスを備えた関係的RLフレームワークは、多対象操作におけるデータ効率性を向上させ得るか？
• RQ2 カリキュラム学習は、分布シフトのため多対象タスクで失敗するのか？関係的インダクティブバイアスはこれを緩和できるか？
• RQ3 タワーのスターリングに訓練されたエージェントは、より高いタワーおよびピラミッドのような非タワーフォーマットにゼロショット一般化可能か？
• RQ4 GNN内の注目パターンは、タスクの分解をどのように反映し、一般化を支援するか？

主な発見

• エージェントはスパarselyリwardedな報酬とシンプルなカリキュラムのみを用いて、6つのブロックをタワーに積み上げることに成功し、先行SOTA手法と比較してデータ効率が桁違いに優れていた。
• 7つのブロックをタワーに積むことや、ピラミッド構成へのゼロショット一般化が達成され、これらは訓練中に見られなかった。
• 4ブロックタワーで訓練されたエージェントは、6ブロックタワーで訓練されたエージェントよりもピラミッドタスクで優れた性能を示し、後者は垂直スターリングに過剰適合している可能性を示唆した。
• 注目可視化により、モデルは配置すべきブロックに最も注目し、下層のブロックにはあまり注目しないことが判明し、効果的なタスク分解が行われていることが示された。
• 人的な示範を用いた最先端手法を上回る性能を発揮した。これは、模倣学習よりも関係的インダクティブバイアスの価値を示している。
• スパarselyリwardedな最適化から自然に、ブロックをずらして他のブロックをつかむ行動や、同時に2つのブロックをつかむ行動といったエメrgェント行動が出現した。