[論文レビュー] SAFARI: Safe and Active Robot Imitation Learning with Imagination

Norman Di Palo, Edward Johns|arXiv (Cornell University)|Nov 18, 2020

Robot Manipulation and Learning参考文献 42被引用数 4

ひとこと要約

SAFARIは、行動コーディングとモデルベースの計画、不確実性推定を組み合わせることで、分布シフトを最小限に抑え、障害を予測する安全で能動的な模倣学習フレームワークを提案する。分布外の状態において能動的にデモンストレーションを要求し、将来の状態予測を用いて異常を検出することで、ロボット操作タスクにおける一般化性能と安全性が向上する。

ABSTRACT

One of the main issues in Imitation Learning is the erroneous behavior of an agent when facing out-of-distribution situations, not covered by the set of demonstrations given by the expert. In this work, we tackle this problem by introducing a novel active learning and control algorithm, SAFARI. During training, it allows an agent to request further human demonstrations when these out-of-distribution situations are met. At deployment, it combines model-free acting using behavioural cloning with model-based planning to reduce state-distribution shift, using future state reconstruction as a test for state familiarity. We empirically demonstrate how this method increases the performance on a set of manipulation tasks with respect to passive Imitation Learning, by gathering more informative demonstrations and by minimizing state-distribution shift at test time. We also show how this method enables the agent to autonomously predict failure rapidly and safely.

研究の動機と目的

• 専門家のデモンストレーションにカバーされていない分布外（OOD）の状態にエージェントが遭遇した際に、模倣学習で誤った行動をとる問題に対処すること。
• モデルフリーのポリシー行動とオンライン計画を組み合わせることで、訓練済みの状態分布からの逸脱を最小限に抑えることにより、展開時の状態分布シフトを低減すること。
• 人間の監視なしに、テスト時に自律的かつ安全に障害を予測できることを可能にし、ロボットの安全性を向上させること。
• 訓練中に、最も不確実で、したがって最も情報量が多いと予想される状態を能動的に選択し、専門家のデモンストレーションを受けることで、データの効率性を向上させること。

提案手法

• 専門家のデモンストレーションに基づいて行動コーディングによりポリシー・ネットワークを訓練し、専門家の行動を模倣する。
• 現在の状態と行動から将来の状態を予測するためのダイナミクスモデル（ワールドモデル）を学習し、オンライン計画を可能にする。
• 予測のエピステミック不確実性を推定するネットワークを採用し、将来の状態再構築を用いてOOD状態を同定する。
• 不確実性推定値を用いて、訓練中に高不確実性状態における専門家のデモンストレーションを要求することで、能動的学習を実行する。
• テスト時に、ポリシーの行動と不確実性を最小化し、状態を訓練分布に戻す方向に作用する計画行動を組み合わせる。
• 畳み込みオートエンコーダを用いてRGB観測を16次元の潜在ベクトルに圧縮し、ロボットの状態特徴と連結して入力とする。

実験結果

リサーチクエスチョン

• RQ1 不確実性推定に基づく能動的学習は、より少ない専門家デモンストレーション数でポリシーの一般化性能を向上させることができるか？
• RQ2 モデルベースの計画は、模倣学習における展開時の状態分布シフトをどの程度低減できるか？
• RQ3 学習済みのダイナミクスモデルを用いた将来の状態予測は、反応型手法と比較して、より高速かつ信頼性の高い障害検出を可能にするか？
• RQ4 モデルフリーのポリシー行動と不確実性を考慮した計画を組み合わせることで、現実世界の操作タスクにおける性能と安全性がどの程度向上するか？

主な発見

• γ = 0.8の能動的学習アプローチは、受動的模倣学習よりも優れた性能を示し、能動的に選択されたデモンストレーションがより情報量が多いことを実証した。
• 1キューブのピックアンドプレイスタスクでは、SAFARIは50回のテスト実行のうち8.8 ± 2.35回の成功を達成し、行動コーディング（7.6 ± 2.35）を顕著に上回った。
• 2キューブのスタックタスクでは、SAFARIは5.9 ± 4.0回の成功を達成したのに対し、行動コーディングは3.4 ± 2.6回にとどまり、複雑なタスクにおけるより高いロバストネスを示した。
• モデルフリーの行動とオンライン計画を組み合わせたハイブリッドポリシーは、すべての評価タスクで分布シフトを低減し、テスト時の性能を向上させた。
• 将来の状態を想像する手法による障害予測は、0〜10ステップの範囲で安定したF1スコアを達成し、障害検出に必要なステップ数を削減した。
• この手法は、テスト時に危険な状態を自律的に検出でき、人間の介入なしに安全に実行を可能にした。