[論文レビュー] On-Robot Learning With Equivariant Models

Dian Wang, Mingxi Jia+3 more|arXiv (Cornell University)|Mar 9, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、離散的対称性群（例：D₄、C₈）とデータ拡張を活用して、物理的ロボット上で2時間未塔で直接学習を実行する、サンプル効率的な強化学習手法「On-Robot Learning with Equivariant SAC」を提案する。シミュレーションでの事前学習はしばしば不要であり、場合によっては負の転送を引き起こすことが示され、単純な操作タスクにおいて直接的なオンロボット学習が実用的で効率的であることが明らかになった。

ABSTRACT

Recently, equivariant neural network models have been shown to improve sample efficiency for tasks in computer vision and reinforcement learning. This paper explores this idea in the context of on-robot policy learning in which a policy must be learned entirely on a physical robotic system without reference to a model, a simulator, or an offline dataset. We focus on applications of Equivariant SAC to robotic manipulation and explore a number of variations of the algorithm. Ultimately, we demonstrate the ability to learn several non-trivial manipulation tasks completely through on-robot experiences in less than an hour or two of wall clock time.

研究の動機と目的

• シミュレータやオフラインデータセットに依存せずに、効率的なオンロボット方策学習を可能にすること。
• 離散的対称性群を用いた等変モデルが、連続的モデルよりもロボット操作において優れるかどうかを調査すること。
• 実世界のロボット上で直接学習する等変モデルにおけるデータ拡張の影響を評価すること。
• オンロボット学習において、シミュレーションから実世界への移行（sim2real）の事前学習が必要かどうか、あるいは有益かどうかを評価すること。
• 接触ダイナミクスのドメインシフトが原因で、シミュレーションから実世界への移行がなぜ失敗するのか、その原因を理解すること。

提案手法

• ロボット方策ネットワークに回転・反転不変性を組み込むために、離散的対称性群（例：D₄、C₈）を用いた等変ソフトアクタクリティカル（SAC）を採用する。
• 群の非可約表現を用いてニューラルネットワークアーキテクチャに等変性を強制し、サンプル効率を向上させる。
• 特にバッファ拡張を含むデータ拡張技術をリプレイバッファに適用し、離散的対称性群における性能向上を図る。
• シミュレーションや事前学習を一切行わず、実世界の経験のみを用いて方策を完全に実ロボット上で学習する。
• PyBulletシミュレーションを用いたシミュレーションから実世界への微調整（sim2real fine-tuning）と比較し、移行効果を評価する。
• 4つの操作タスク（ブロックピッキング、ごみの中でのグリップ、ブロックプッシュ、ボウル内のブロック）を対象に評価する。

実験結果

リサーチクエスチョン

• RQ1 オンロボット強化学習において、離散的対称性群（例：D₄、C₈）は連続的群（例：SO(2)、O(2)）よりも優れた性能を示すか？
• RQ2 対称性がモデルに組み込まれているにもかかわらず、データ拡張は実ロボット上で学習する等変モデルの性能向上に寄与するか？
• RQ3 オンロボット学習における操作方策の学習において、シミュレーションから実世界への移行（sim2real）の事前学習は必要か、あるいは有益か？
• RQ4 どのような条件下で、シミュレーションから実世界への移行（sim2real）の事前学習が、実世界のロボット方策学習において負の転送を引き起こすか？
• RQ5 実ロボット上で学習する等変モデルは、2時間未塔のウォールクロック時間で、複雑な操作タスクにおいて高い性能を達成できるか？

主な発見

• 離散的対称性群（D₄、C₈）を用いた等変SACは、全評価タスクで連続的群の等変性（SO(2)、O(2)）を上回り、近似誤差があるにもかかわらずより優れた一般化性能を示した。
• データ拡張、特にバッファ拡張が、離散的対称性群における性能向上に顕著に寄与した。これは、対称性がモデルに組み込まれても、データ拡張が依然として有効であることを示している。
• 等変モデルを用いたオンロボット学習では、ブロックプッシュで92%、ボウル内のブロックで92%、ごみの中でのグリップで70%の成功率を達成し、いずれも1～2時間の実世界学習時間で実現した。
• シミュレーションから実世界への移行（sim2real）の事前学習は成功に不可欠ではなく、ブロックプッシュタスクでは、シミュレーションの接触剛性がやや柔らかいことから、事前学習済み方策が初期学習より性能が悪くなるという負の転送が発生した。
• シミュレーションから実世界への移行エージェントは、PyBulletの接触剛性が低いことからブロックを押しこもうとする傾向を学習したが、オンロボットエージェントは横方向に押す戦略を学習した。これは、接触ダイナミクスのドメインシフトが移行を損なう要因であることを示している。
• ブロックピッキングおよびボウル内ブロックタスクでは、オンロボット学習とシミュレーションから実世界への微調整の両方で100%の成功率を達成したが、一部のケースでオンロボット学習の方が収束が速く、直接学習が競争力を持つことを示した。