[論文レビュー] Model-Based Inverse Reinforcement Learning from Visual Demonstrations

Neha Das, Sarah Bechtle+4 more|arXiv (Cornell University)|Oct 18, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 8

ひとこと要約

本論文は、事前学習済みの視覚的ダイナミクスモデルを用いてキーポイントに基づく潜在空間で視覚的ヒューマンデモからコスト関数を学習する勾配ベースの逆強化学習フレームワークを提案する。内側のポリシー最適化を微分可能にすることで、ロボット操作タスクにおける安定的かつサンプル効率の良いIRLを実現し、最適な条件下でキーポイント追跡の平均二乗誤差が4.26 mmに達する優れた一般化性能を実現した。

ABSTRACT

Scaling model-based inverse reinforcement learning (IRL) to real robotic manipulation tasks with unknown dynamics remains an open problem. The key challenges lie in learning good dynamics models, developing algorithms that scale to high-dimensional state-spaces and being able to learn from both visual and proprioceptive demonstrations. In this work, we present a gradient-based inverse reinforcement learning framework that utilizes a pre-trained visual dynamics model to learn cost functions when given only visual human demonstrations. The learned cost functions are then used to reproduce the demonstrated behavior via visual model predictive control. We evaluate our framework on hardware on two basic object manipulation tasks.

研究の動機と目的

• 未知のダイナミクスを持つ現実世界のロボット操作タスクにおいて、プロプライオセプティブな状態測定が得られない状況で、視覚的デモからのモデルベースの逆強化学習を可能にすること。
• プロプライオセプティブな状態測定が得られない状況で、視覚的デモのみからコスト関数を学習する課題に対処すること。
• 外側最適化ステップにおける手動で設計された距離尺度による不安定性を回避するため、微分可能で勾配ベースのIRLアルゴリズムを構築すること。
• デモから得られる相対キーポイント軌道を学習することで、異なる初期設定に対して一般化を可能にすること。
• Kuka iiwaアームを用いた物体配置タスクにおいて、実機ロボットハードウェアを用いて手法を検証すること。

提案手法

• 自己教師付きキーポイント検出器が、ヒューマンデモとロボットの観測から2次元の視覚的特徴を抽出し、シーンの低次元潜在表現を可能にする。
• 視覚的ダイナミクスモデルを事前学習し、時間ステップ間でのキーポイント表現の変化を予測することで、潜在空間におけるアクションシーケンスの前方シミュレーションを可能にする。
• 内側最適化ステップでは、視覚的モデル予測制御を用いてコスト関数を最小化するアクションシーケンスを生成し、ダイナミクスモデルおよびポリシー最適化を経由して勾配を逆伝播する。
• 外側最適化ステップでは、内側ポリシー最適化を微分可能なバイレベル最適化により、コスト関数パラメータを更新することで、安定的かつ効果的な学習を実現する。
• 3種類のコスト関数アーキテクチャを評価：単純な重み付き距離、時間依存の重み、RBFベースの重み。これらはすべて潜在空間内のキーポイント位置に基づいて定義される。
• デモを相対軌道として処理することで、異なる初期設定や視点に対してより頑健な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 プロプライオセプティブな状態フィードバックが得られない状況で、視覚的ヒューマンデモからの純粋な視覚的入力のみから、勾配ベースの逆強化学習フレームワークが有効なコスト関数を学習できるか？
• RQ2 内側ポリシー最適化を微分することで、特徴マッチングベースラインと比較して、安定性と性能がどのように向上するか？
• RQ3 キーポイントに基づく潜在空間における学習済みの視覚的ダイナミクスモデルは、現実のロボット操作タスクにおいて、異なる初期位置にわたる一般化をどの程度可能にするか？
• RQ4 時間依存およびRBFベースのコスト関数は、単純な重み付きコストと比較して、追跡精度と頑健性の面でどのように異なるか？
• RQ5 視覚的デモと事前学習済みのダイナミクスモデルのみを用いて、フレームワークは実機上で人間らしく振る舞うことができるか？

主な発見

• IRL損失は約2,000ステップの訓練で収束し、コスト関数パラメータの有効な最適化が確認された。
• 時間依存およびRBFベースのコスト関数は、Kuka iiwaでキーポイント追跡の平均二乗誤差が4.26 mm（±1.20）に達し、ベースラインの26.96 mmと比べ顕著に優れた性能を示した。
• RBFベースのコスト関数は、開始配置1では4.26 mm、開始配置2では4.40 mmの誤差を達成し、初期位置にわたる強力な一般化性能を示した。
• 時間依存コスト関数は、開始配置1で6.12 mm（±0.94）の誤差、開始配置2で3.53 mm（±0.21）の誤差を記録し、単純な重み付きコスト関数よりも優れた性能を示した。
• 単純な重み付きコスト関数は、開始配置1で40.99 mmの誤差を示し、複雑な軌道において時間依存性が一般化に不可欠であることを示した。
• 視覚的デモと事前学習済みの視覚的ダイナミクスモデルのみを用いて、実機上で人間らしく振る舞う行動を成功裏に再現した。これは、実世界への応用可能性を実証した。