[論文レビュー] Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions

Jonas Tjomsland, Ali Shafti+1 more|arXiv (Cornell University)|Dec 2, 2019

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文では、ソフトアクターキャリブレーター（SAC）を用いた深層強化学習を活用し、30分間の現実世界での相互作用のみで、人間パートナーと非自明な物理的協働タスクを学習できる人間-ロボット協働システムを提示している。シミュレーション事前学習や人間のモデルパーソナライゼーションを一切行わず、人間同士のチームと同等のパフォーマンスを達成した。

ABSTRACT

We present a robotic setup for real-world testing and evaluation of human-robot and human-human collaborative learning. Leveraging the sample-efficiency of the Soft Actor-Critic algorithm, we have implemented a robotic platform able to learn a non-trivial collaborative task with a human partner, without pre-training in simulation, and using only 30 minutes of real-world interactions. This enables us to study Human-Robot and Human-Human collaborative learning through real-world interactions. We present preliminary results, showing that state-of-the-art deep learning methods can take human-robot collaborative learning a step closer to that of humans interacting with each other.

研究の動機と目的

• シミュレーション事前学習に依存せず、現実世界のロボットプラットフォームを用いて人間-ロボットおよび人間-人間の協働学習を研究するためのプラットフォームを開発すること。
• サンプル効率の良い深層強化学習が、現実の人間との相互作用から直接協働タスクを学習可能かどうかを調査すること。
• DRLエージェントが、最小限の現実世界での相互作用で、物理的かつ非自明なタスクにおいて人間レベルの協働パフォーマンスを達成できるかどうかを評価すること。
• シミュレーションから現実へのドメインシフトを回避するため、完全に現実世界データのみを用いて、人間を含めたループ型の学習をスクラッチから可能にするかの可能性を検討すること。

提案手法

• サンプル効率の良い深層強化学習を実現するため、自動温度チューニングを備えたソフトアクターキャリブレーター（SAC）アルゴリズムを採用している。
• ユニバーサルロボット社のUR10ロボットにトレイを装着し、DRLエージェントがトレイの1軸回転を制御することで、ボールをゴールに誘導する。
• 人間パートナーはモーションキャプチャマーカーを装着した遠隔操作インターフェースで、もう一方のトレイ軸を制御し、リアルタイムでの相互作用を実現している。
• 人間の行動は、200msの遅延を伴うPDコントローラーを介してロボットコマンドに変換されており、現実のロボット-人間相互作用のダイナミクスを模倣している。
• DRLエージェントはボールとトレイの位置の共同状態を観測し、連続的アクション空間に基づいて行動を決定することで、タスクの成功を最適化する。
• 学習は完全に現実世界で実施され、シミュレーションは一切使用せず、人間-ロボット相互作用のデータを30分間、4,000ステップ未満で収集している。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、30分間の現実世界での相互作用のみで、人間パートナーと非自明な協働タスクを学習できるか？
• RQ2 現実世界のDRLで学習した人間-ロボットチームのパフォーマンスは、同じタスクにおける人間同士のチームと同等か？
• RQ3 人間パートナーが学習中に戦略を変化させた場合、人間の行動を明示的にモデル化しない状況下で、エージェントのパフォーマンスはどのように変化するか？
• RQ4 サンプル効率の良い深層強化学習により、シミュレーション事前学習を回避して、人間を含めたループ型の学習をスクラッチから可能にできるか？

主な発見

• 人間-ロボットチームは、30分間の現実世界での学習で協働タスクを完了し、テスト試行においてDRLエージェントの平均得点は200点中185.6点を達成した。
• 人間同士の比較において、10名の被験者のうち5名が、エージェントと協働する場合と人間エキスパートと協働する場合のパフォーマンスに有意差を示さなかった。
• 最初の500ステップでゴールに2回以上到達した被験者は、長期的な協働パフォーマンスが優れており、早期の成功が重要であることを示唆している。
• DRLエージェントは人間の行動適応に対して頑健であり、人間パートナーの行動を明示的にモデル化しなくても、時間経過とともにパフォーマンスが向上した。
• シミュレーション事前学習を一切行わずして、人間レベルの協働パフォーマンスを達成した。これは、現実世界における人間を含めたループ型DRLの実現可能性を示している。
• 学習曲線は時間経過とともに不一致が減少し、訓練が進むにつれて人間とエージェントの協調性が向上していることを示している。