[論文レビュー] Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning

Seyed Kamyar Seyed Ghasemipour, Daniel Freeman+4 more|arXiv (Cornell University)|Mar 15, 2022

Modular Robots and Swarm Intelligence被引用数 4

ひとこと要約

本論文は、大規模な構造的強化学習を用いて、多様な図面を組み立てるためにエージェントを訓練するための物理ベースの3次元磁気ブロックアセンブリ環境を紹介する。1つのグラフベースのポリシー・エージェントが、未学習の図面に対してゼロショット一般化を達成し、リセットなしの設定でも効果的に動作することを示しており、構造的表現を用いたマルチタスク学習が、明示的な計画や階層的構造なしに、強力で一般化可能なアセンブリを可能にすることを示している。

ABSTRACT

Assembly of multi-part physical structures is both a valuable end product for autonomous robotics, as well as a valuable diagnostic task for open-ended training of embodied intelligent agents. We introduce a naturalistic physics-based environment with a set of connectable magnet blocks inspired by children's toy kits. The objective is to assemble blocks into a succession of target blueprints. Despite the simplicity of this objective, the compositional nature of building diverse blueprints from a set of blocks leads to an explosion of complexity in structures that agents encounter. Furthermore, assembly stresses agents' multi-step planning, physical reasoning, and bimanual coordination. We find that the combination of large-scale reinforcement learning and graph-based policies -- surprisingly without any additional complexity -- is an effective recipe for training agents that not only generalize to complex unseen blueprints in a zero-shot manner, but even operate in a reset-free setting without being trained to do so. Through extensive experiments, we highlight the importance of large-scale training, structured representations, contributions of multi-task vs. single-task learning, as well as the effects of curriculums, and discuss qualitative behaviors of trained agents.

研究の動機と目的

• ロボットアセンブリタスクにおける一般化を研究するための自然的で物理ベースの環境を開発すること。
• タスク固有のファインチューニングなしに、多様で複雑な図面を学習できる1つのエージェントが可能かどうかを調査すること。
• 構造的表現とマルチタスク学習の有効性が、ゼロショット一般化とリセットなし動作を可能にするかを評価すること。
• 大規模な学習、カリキュラム学習、ポリシー・アーキテクチャの相対的な貢献が、構成的でマルチステップのアセンブリタスクを解く上で果たす役割を理解すること。

提案手法

• 16個の磁気接続可能なブロック（6種類の異なる形状）を備えた3次元シミュレーション環境を設計し、動的でモジュラーな構造形成を可能にする。
• ブロックをノード、接続をエッジとして扱うグラフベースのポリシー・ネットワークを実装し、物体配置に対する構造的かつ置換不変な推論を可能にする。
• 複数のタスクを統合した強化学習を用いて、ほぼ200種類の多様な図面（複雑さの異なるもの）をカバーする大規模なマルチタスク学習を実施。
• 学習のサンプル効率と一般化を向上させるために、訓練中に難易度の高い図面を優先するカリキュラム戦略を採用。
• バーチャルグリッパーを介した直接的なブロック操作を実装し、複雑なグリッピングを抽象化しつつも、二択協調性と物理的推論の課題を維持。
• 成功したアセンブリと構造的正しさを促進するため、スパars、ドライビング、カリキュラムベースの報酬設計を定義。

実験結果

リサーチクエスチョン

• RQ1 大規模なマルチタスク強化学習で学習した1つのエージェントは、3次元ブロックアセンブリ環境において、未学習で複雑な図面に対してもゼロショット一般化を達成できるか？
• RQ2 標準的なフィードフォワードポリシーと比較して、グラフベースのポリシー・アーキテクチャは、多様で構成的な構造の間で一般化をどの程度効果的に可能にするか？
• RQ3 マルチタスク学習と単一タスクのファインチューニングのどちらが、強力で一般化可能なアセンブリ行動を達成する上で貢献しているか？
• RQ4 難易度の高い図面に重点を置いたカリキュラム学習は、サンプル効率と一般化性能を向上させるか？
• RQ5 エピソード的でリセット付きの環境で学習したエージェントは、明示的な訓練なしに、継続的でリセットなしの設定でも効果的に動作できるか？

主な発見

• グラフベースのポリシー・エージェントは、199のターゲット構造すべてにおいて、未学習の図面に対しゼロショット一般化を達成した。16個のブロックを含む構造に対しても同様に成功した。
• すべての図面をカバーするマルチタスク学習により、エージェントはより複雑な構造を学習でき、単一タスクのベースラインと比較して、大規模な図面の性能が顕著に向上した。
• エージェントは、エピソード的でリセット付きの環境での学習のみであったにもかかわらず、リセットなしの設定でも効果的に動作した。これは、強靭な耐性と長時間スパンの計画能力が、自己で出現したことを示している。
• 大規模な学習が不可欠であった：少ない図面での学習では、複雑な構造や未学習の構造への一般化に失敗した。
• 構造的表現とマルチタスク学習の組み合わせが、階層的計画やカリキュラムをポリシーに組み込む必要なく、他の代替手法を上回る性能を発揮した。
• 定性的な分析から、エージェントが順次接続や安定した中間的構成といった、複雑な協調的動作を発見したことが判明し、物理的推論と二択協調性の兆候が示された。