[論文レビュー] End-to-end grasping policies for human-in-the-loop robots via deep reinforcement learning

Mohammadreza Sharif, Deniz Erdoğmuş+2 more|arXiv (Cornell University)|Apr 26, 2021

Muscle activation and electromyography studies参考文献 44被引用数 4

ひとこと要約

本稿では、EMG信号に依存せずに耐障害性を向上させるために、実際の人間の伸張軌道を用いた、人間を含むロボットの grasping を実現するエンドツーエンドの深層強化学習（DRL）ポリシーを提案する。DEXTRONと呼ばれる、モンテカルロ補正を施した実際の軌道を組み込んだ確率的シミュレーション環境で訓練することで、本手法は grasping タスクで75%の成功率を達成した。また、ポリシー意思決定の事後解釈性と故障予測を提供する新規の成功モデルを導入している。

ABSTRACT

State-of-the-art human-in-the-loop robot grasping is hugely suffered by Electromyography (EMG) inference robustness issues. As a workaround, researchers have been looking into integrating EMG with other signals, often in an ad hoc manner. In this paper, we are presenting a method for end-to-end training of a policy for human-in-the-loop robot grasping on real reaching trajectories. For this purpose we use Reinforcement Learning (RL) and Imitation Learning (IL) in DEXTRON (DEXTerity enviRONment), a stochastic simulation environment with real human trajectories that are augmented and selected using a Monte Carlo (MC) simulation method. We also offer a success model which once trained on the expert policy data and the RL policy roll-out transitions, can provide transparency to how the deep policy works and when it is probably going to fail.

研究の動機と目的

• EMG信号に依存する補装手の制御における耐障害性の問題を解消すること。
• 実際の人間の伸張軌道から学習するポリシーを開発し、より自然で直感的なロボットの grasping を実現すること。
• 実際の人間の運動データとモンテカルロ補正を組み合わせたトレーニングを可能にする、確率的シミュレーション環境（DEXTRON）を構築すること。
• 専門家とRLポリシーの遷移データを用いて学習した成功モデルを導入し、RLポリシーの意思決定と故障予測を事後的に解釈可能にする。
• ポリシー行動の透明性を提供することで、人間とロボットの相互適応を可能にする共同 grasping を実現すること。

提案手法

• 複数の被験者から収集した実際の人間の伸張軌道を用いて、エンドツーエンドの深層強化学習ポリシーを訓練する。
• モンテカルロシミュレーションを用いて実際の軌道を補正し、データの多様性を向上させ、ポリシーの一般化性能を向上させる。
• 模倣学習（IL）と強化学習（RL）を組み合わせたハイブリッドアプローチ、特にRLILを採用することで、ポリシーの収束を加速する。
• dm_control上に実装された確率的シミュレーション環境 DEXTRON を設計し、遅延的かつスパarsな報酬を持つ人間-ロボット協働をシミュレートする。
• 専門家とRLポリシーのロールアウト遷移データを用いて成功モデルを訓練し、最終的な grasping 成果を予測し、ポリシー意思決定を説明する。
• 成功モデルを故障・成功に敏感な関数として用い、ポリシー行動に関するリアルタイムフィードバックを提供する。

実験結果

リサーチクエスチョン

• RQ1 実際の人間の伸張軌道を用いて訓練されたエンドツーエンドのRLポリシーは、EMG信号に依存せずに、耐障害的かつ直感的な grasping を達成できるか？
• RQ2 模倣学習と強化学習を組み合わせることで、報酬がスパarsな確率的環境におけるポリシー学習がどのように向上するか？
• RQ3 専門家とRLのロールアウトデータを用いて学習した成功モデルは、ポリシー意思決定と故障モードの信頼性の高い事後解釈を提供できるか？
• RQ4 実際の軌道補正を施した DEXTRON シミュレーション環境は、ポリシーの一般化性能と移行性をどの程度向上させるか？
• RQ5 RLポリシーにおける解釈可能性と透明性は、人間-ロボット協働における信頼性と相互適応をどの程度向上させるか？

主な発見

• RLIL 0.1手法は、最高の平均累積報酬を達成し、全手法の中で最大75%（15/20）の grasping 成功率を達成した。
• DEXTRONにおける純粋なRL訓練で、報酬がスパarsであっても有用な grasping ポリシーを学習できた。これは、類似の環境設定で学習に失敗した先行手法と対照的である。
• 成功モデルは、サンプルされたロールアウトの5つ中4つで故障結果を正しく予測し、早期のハンドクロージングなどの重要な故障要因を同定した。
• 成功モデルは故障に敏感であることを示し、特に初期の軌道段階で不適切な行動による成功ウィンドウの縮小を検出できた。
• シミュレーション内で約4時間（750kフレーム）の実行時間で妥当なトレーニング時間が達成されたため、実世界への展開が現実的になった。
• 成功モデルは、早期の閉鎖命令による衝突リスクなどのポリシー行動に関する実用的で役立つインサイトを提供し、システムへの信頼性と透明性を向上させた。