[論文レビュー] Neural Dynamic Policies for End-to-End Sensorimotor Learning

Shikhar Bahl, Mustafa Mukadam+2 more|arXiv (Cornell University)|Dec 4, 2020

Robot Manipulation and Learning被引用数 9

ひとこと要約

この論文では、微分可能2次元動的システム（特にダイナミック・ムーブメント・プリミティブ：DMPs）を用いて制御入力を再パrameter化する、ニューラル・ダイナミック・ポリシー（NDPs）と呼ばれる、深層学習フレームワークを提案する。このフレームワークにより、軌道分布空間におけるエンドツーエンド学習が可能となり、従来手法と比較して、連続的かつ高次元のロボット制御タスクにおける模倣学習および強化学習の両方で、優れたサンプル効率と性能が達成される。

ABSTRACT

The current dominant paradigm in sensorimotor control, whether imitation or reinforcement learning, is to train policies directly in raw action spaces such as torque, joint angle, or end-effector position. This forces the agent to make decisions individually at each timestep in training, and hence, limits the scalability to continuous, high-dimensional, and long-horizon tasks. In contrast, research in classical robotics has, for a long time, exploited dynamical systems as a policy representation to learn robot behaviors via demonstrations. These techniques, however, lack the flexibility and generalizability provided by deep learning or reinforcement learning and have remained under-explored in such settings. In this work, we begin to close this gap and embed the structure of a dynamical system into deep neural network-based policies by reparameterizing action spaces via second-order differential equations. We propose Neural Dynamic Policies (NDPs) that make predictions in trajectory distribution space as opposed to prior policy learning methods where actions represent the raw control space. The embedded structure allows end-to-end policy learning for both reinforcement and imitation learning setups. We show that NDPs outperform the prior state-of-the-art in terms of either efficiency or performance across several robotic control tasks for both imitation and reinforcement learning setups. Project video and code are available at https://shikharbahl.github.io/neural-dynamic-policies/

研究の動機と目的

• 高次元で長時間にわたるロボット制御タスクにおける、原始的制御入力空間（例：トルク、関節角）での直接的ポリシー学習のスケーラビリティの限界を解消すること。
• 古典的なロボット工学における動的システム（例：DMPs）と現代の深層学習を統合し、それらをニューラルネットワーク内の微分可能レイヤーとして埋め込むこと。
• 構造的軌道表現を用いて、模倣学習および強化学習の両設定でエンドツーエンドのポリシー訓練を可能にすること。
• 物理的に妥当な軌道分布空間で学習することで、原始的制御入力ではなく、一般化性能とサンプル効率を向上させること。

提案手法

• 2次微分方程式を用いて制御入力空間を再パラメータ化し、特にDMPsを軌道ダイナミクスの基礎的構造として採用する。
• 環境状態に条件づけられた深層ネットワーク特徴量からDMPのパラメータ（重みとゴール）を予測し、エンドツーエンドのバックプロパゲーションを可能にする。
• 深層ニューラルネットワーク内に動的システムを微分可能レイヤーとして統合し、勾配がシステムを通り抜け、共同最適化が可能になるようにする。
• 推論時にリアルタイムフィードバックを必要としないオープンループ制御器を用いて、予測された動的システムから制御入力を生成する。
• 教師あり学習（模倣）または強化学習（報酬を伴う）により、構造的制御入力空間を活用してエンドツーエンドでポリシーを訓練する。これにより、サンプル効率が向上する。
• 高次元観測に条件づけられたDMPsを用いることで、ビジョンベースの模倣学習および深層強化学習の両設定への柔軟な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ポリシーに微分可能な動的システムを埋め込むことで、連続的ロボット制御におけるサンプル効率と性能が向上するか？
• RQ2 NDPsによる軌道分布空間での学習は、原始的制御入力空間での直接的学習と比較して、一般化性能およびスケーラビリティの面で優れているか？
• RQ3 NDPsは、アーキテクチャの再設計なしに、模倣学習および強化学習の両設定に効果的に適用可能か？
• RQ4 ニューラルポリシーにDMPsをインダクティブバイアスとして用いることで、多様な行動やタスクにわたる一般化性能が向上するか？

主な発見

• NDPsは、模倣学習および強化学習の両設定で最先端の手法を上回り、より優れたまたは同等の性能を達成するとともに、サンプル効率が向上する。
• この手法により、軌道空間で意思決定を行うポリシーのエンドツーエンド訓練が可能となり、原始的制御入力空間におけるタイムステップごとの意思決定の必要性が低減される。
• DMPパラメータをエンドツーエンドで学習することで、NDPsは入力状態に応じて動的に適応し、時間的およびタスク的要件に応じた柔軟な行動生成が可能になる。
• 微分可能なDMPレイヤーにより、勾配が動的システムを逆伝播可能となり、ポリシーと軌道構造の共同最適化が可能になる。
• 物理的妥当性のインダクティブバイアスのおかげで、NDPsは長時間にわたる制御タスクや高次元制御タスクを含む、多様なロボット制御タスクに一般化可能である。