[論文レビュー] Learning Vision-based Reactive Policies for Obstacle Avoidance

Elie Aljalbout, Chen Ji+3 more|arXiv (Cornell University)|Oct 30, 2020

Robotic Path Planning Algorithms参考文献 45被引用数 6

ひとこと要約

本論文は、Riemannian Motion Policies (RMPs) と学習された視覚的潜在モデルを組み合わせることで、ロボットアームの視覚ベースの反応型障害物回避ポリシーを統合的に学習する深層強化学習フレームワークを提案する。この手法は、1時間未塔の実世界での相互作用で安定した単一および複数障害物回避戦略を学習し、高いサンプル効率を達成している。同時に、閉ループ応答性を維持し、未観測の障害物配置にも一般化可能である。

ABSTRACT

In this paper, we address the problem of vision-based obstacle avoidance for robotic manipulators. This topic poses challenges for both perception and motion generation. While most work in the field aims at improving one of those aspects, we provide a unified framework for approaching this problem. The main goal of this framework is to connect perception and motion by identifying the relationship between the visual input and the corresponding motion representation. To this end, we propose a method for learning reactive obstacle avoidance policies. We evaluate our method on goal-reaching tasks for single and multiple obstacles scenarios. We show the ability of the proposed method to efficiently learn stable obstacle avoidance strategies at a high success rate, while maintaining closed-loop responsiveness required for critical applications like human-robot interaction.

研究の動機と目的

• 構造化されていない環境における視覚ベースの障害物回避の課題に取り組むこと。ここでは、認識と運動計画が密接に結びついている。
• モデルフリーの深層強化学習と手作業で設計されたRMPベースラインポリシーを組み合わせることで、実世界のロボット学習におけるサンプル複雑性の低減と安全性の向上を図ること。
• 再トレーニングなしに障害物の数（1、2、または3）の変動に一般化できるように、解釈可能な視覚的表現を学習すること。
• 認識と運動生成を1つのエンドツーエンドの学習フレームワークに統合し、関節制限を維持するとともに不安定化を回避すること。

提案手法

• 視覚的潜在モデルを用いて、生のRGB画像を次元が低く、解釈可能な表現に圧縮することで、ポリシーの複雑さを低減し、一般化性能を向上させる。
• リーマン運動方策（RMPs）を用いて、ベースラインとして解釈可能で安全な運動ポリシーを定義し、関節制限と運動学的制約を尊重する。
• 残留型の深層強化学習ポリシーを訓練し、ベースラインRMPポリシーを補完することで、障害物回避のための反応成分のみを学習する。
• 報酬関数は、ゴール到達と障害物回避の項を組み合わせており、衝突時には負の報酬、ゴールに近づくと正の報酬が与えられる。
• 運動生成における幾何的整合性と安定性を保証するため、リーマン多様体上でのエンドツーエンドの深層強化学習を採用する。
• 探索はベースラインポリシーによって誘導され、特に訓練初期段階で障害物に遭遇しても、エージェントがゴールに早く向かうようにすることで、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚入力を直接反応運動に結びつける統合的フレームワークは、明示的な認識パイプラインに依存せずに、視覚ベースの障害物回避ポリシーを効果的に学習できるか？
• RQ2 学習された残留ポリシーと手作業で設計されたRMPベースラインを組み合わせることで、実世界のロボット学習におけるサンプル効率と成功率はどのように向上するか？
• RQ3 固定された障害物数（例：3個）でトレーニングされたポリシーが、障害物が少ない環境（1個または2個）にもどの程度一般化できるか？
• RQ4 深層強化学習は、リアルタイム応答性と安全性を維持しながら、アームの視覚ベースの障害物回避に効果的に適用可能か？

主な発見

• 本手法は、1時間未塔の実世界相互作用後、単一障害物状況で84±6%の成功率を達成し、アンサンブルDRLを2倍以上上回った。
• 本手法は、アンサンブルDRLと比較して収束に必要なエピソード数が半分未塔であり、優れたサンプル効率を示した。
• 3つの障害物を含む複数障害物状況では、約10,000エピソード（実世界データ収集で約3時間）で収束し、72%の成功率を達成した。
• 障害物数が少ない環境への一般化は効果的であった：1障害物では66%、2障害物では54%、3障害物では72%の成功率を示し、トレーニング時の設定を超えた堅牢な一般化を示した。
• ベースラインポリシーは探索を著しく改善しており、再訓練なしでトレーニングした場合と比較して、平均エピソード報酬が高く、収束が速かった。
• 視覚的潜在モデルは、一般化性能の向上とポリシー複雑さの低減に寄与し、安定的かつ解釈可能な反応行動を可能にした。