[論文レビュー] Learning Dynamic Robot-to-Human Object Handover from Human Feedback

Andras Kupcsik, David Hsu+1 more|arXiv (Cornell University)|Mar 21, 2016

Reinforcement Learning in Robotics参考文献 19被引用数 4

ひとこと要約

本稿では、ノイズの多い人間のフィードバックからロボットが動的で人間適応型の物体渡しを学習できる文脈的ポリシー探索フレームワークを提案する。ベイジアン最適化を用いた潜在的報酬学習とポリシー探索を組み合わせることで、ロボットは接触力とジャerk（加速度の変化率）を最小化するように運動およびグリップダイナミクスを調整し、静的および動的状況の両方でより速く滑らかな渡しを実現した。人間参加者を用いた実験により、その有効性が実証された。

ABSTRACT

Object handover is a basic, but essential capability for robots interacting with humans in many applications, e.g., caring for the elderly and assisting workers in manufacturing workshops. It appears deceptively simple, as humans perform object handover almost flawlessly. The success of humans, however, belies the complexity of object handover as collaborative physical interaction between two agents with limited communication. This paper presents a learning algorithm for dynamic object handover, for example, when a robot hands over water bottles to marathon runners passing by the water station. We formulate the problem as contextual policy search, in which the robot learns object handover by interacting with the human. A key challenge here is to learn the latent reward of the handover task under noisy human feedback. Preliminary experiments show that the robot learns to hand over a water bottle naturally and that it adapts to the dynamics of human motion. One challenge for the future is to combine the model-free learning algorithm with a model-based planning approach and enable the robot to adapt over human preferences and object characteristics, such as shape, weight, and surface texture.

研究の動機と目的

• 動的物体渡しを人間の動きや好みに適応するロボット学習フレームワークの開発。
• 身体的ヒューマン・ロボット・インタラクションにおけるノイズの多い人間のフィードバックからの学習の課題に対処する。
• 人間のダイナミクス（例：歩行、走行）の変動や物体の特性にわたる一般化を可能にする。
• 接触力、ジャerk、および渡し時間の最小化を目指した最適な制御ポリシーを学習することで、渡しのなめらかさを向上させる。
• 将来のモデルベース計画と統合されたモデルフリー学習を組み合わせ、より高い適応性を実現する。

提案手法

• 動的渡しを、人間の運動ダイナミクスなどのタスク文脈に条件付けられた文脈的ポリシー探索問題として定式化する。
• 絶対的フィードバック（良い／悪い）および選好フィードバック（以前のものより良い／悪い）を用いて、潜在的報酬関数を推定する。
• ノイズの多いフィードバックにもかかわらず、潜在的報酬関数を安定して学習するためにベイジアン最適化を適用する。
• 推定された潜在的報酬を最大化するように制御パラメータを最適化するポリシー探索アルゴリズムを採用する。
• 物理的相互作用中のポリシー性能評価のために、力および運動追跡を統合する。
• 7自由度のPR2ロボットを用いて、実世界の静的および動的渡しシナリオでポリシーを実行および評価する。

実験結果

リサーチクエスチョン

• RQ1 フィードバックがノイズが多く主観的である状況下で、ロボットは人間のフィードバックから動的物体渡しをどのように学習できるか？
• RQ2 動的渡しシナリオにおいて、人間が好む制御ポリシーの特徴（例：剛性、グリップ力、タイミング）は何か？
• RQ3 モデルフリー学習アプローチは、人間の運動ダイナミクスや物体タイプの変動にわたって一般化できるか？
• RQ4 接触力、ジャerk、および渡し時間の観点から、学習されたポリシーは手動チューニングされたコントローラーよりも優れているか？
• RQ5 明示的な報酬形状付けなしに、潜在的報酬学習が人間の好みへの適応をどのように可能にするか？

主な発見

• ロボットは、初期の手動チューニングされたコントローラーよりも接触力が低く、ジャerkも小さい動的渡しを成功裏に学習した。
• 静的渡しでは、低ジャerkおよび低力の速やかな指制御が好まれ、最適な渡しは0.4〜0.6秒の間で発生した。
• 動的渡しでは、より柔軟な並進および回転剛性に加え、しっかりとした指制御が力の低減と耐性向上に寄与した。
• 動的状況では、人間参加者がより速い渡しを好んだ。物理的接触時間は0.3〜0.6秒の間であった。
• 学習されたポリシーは動的シナリオにわたって一般化でき、大幅に渡し時間を短縮し、人間への身体的ストレスを低減した。
• 動画証拠から、学習されたポリシーが初期コントローラーよりもより自然でなめらかな渡し動作を生み出していることが確認された。