[論文レビュー] Understanding Teacher Gaze Patterns for Robot Learning

Akanksha Saran, Elaine Schaertl Short+2 more|arXiv (Cornell University)|Jul 16, 2019

Gaze Tracking and Assistive Technology参考文献 36被引用数 8

ひとこと要約

本稿は、ロボットの学習から模倣（LfD）における人間の教師の注視パターンが、ロボット学習をどのように向上させるかを調査している。キネスティック教示と動画デモの両方の状況で注視を分析することで、著者らは、注視が部分的タスク分類を最大6%向上させ、逆強化学習における方策損失を最大67.4%低減することを示しており、注視が意図推論と効率的学習のための重要な信号であることを示している。

ABSTRACT

Human gaze is known to be a strong indicator of underlying human intentions and goals during manipulation tasks. This work studies gaze patterns of human teachers demonstrating tasks to robots and proposes ways in which such patterns can be used to enhance robot learning. Using both kinesthetic teaching and video demonstrations, we identify novel intention-revealing gaze behaviors during teaching. These prove to be informative in a variety of problems ranging from reference frame inference to segmentation of multi-step tasks. Based on our findings, we propose two proof-of-concept algorithms which show that gaze data can enhance subtask classification for a multi-step task up to 6% and reward inference and policy learning for a single-step task up to 67%. Our findings provide a foundation for a model of natural human gaze in robot learning from demonstration settings and present open problems for utilizing human gaze to enhance robot learning.

研究の動機と目的

• ロボット学習から模倣（LfD）における教示中の人間の注視が、意図とタスク構造をどのように明らかにするかを理解すること。
• キネスティック教示（KT）と動画デモのモダリティの間で注視パターンに差があるかどうかを調査すること。
• 注視データが、曖昧または複雑なタスク状況におけるロボット学習を改善できるかどうかを特定すること。
• 注視を用いて部分的タスクセグメンテーション、基準フレーム推定、報酬学習を向上させるアルゴリズムの開発と検証すること。
• 注視を計算的に有用な信号として位置づけ、効率的で一般化可能なロボット方策学習を実現すること。

提案手法

• マニピュレーションタスクのキネスティック教示と動画デモにおける注視固定点を収集するため、眼動追跡を用いた人間被験者研究を実施した。
• タスク関連対象への注視や、ステップキー・フレームと非ステップキー・フレームとの間で注視パターンの違いといった、意図を示す注視行動を同定した。
• 概念実証用の2つのアルゴリズムを提案した：1つは注視を活用したキー・フレームセグメンテーションを用いた部分的タスク分類用、もう1つは注視データを組み込んだベイジアン逆強化学習（BIRL）用。
• 特に曖昧なデモにおいて、注視固定点を特徴量として用いることで、方策学習と報酬推定を向上させた。
• 複数のデモ条件（1 vs. 5 デモ）における方策損失と配置損失の指標を用いて、性能を評価した。
• 実世界での展開において、眼動追跡の代替手段としてのビジュアルベースの注視推定の可能性を検討した。

実験結果

リサーチクエスチョン

• RQ1 ロボット学習から模倣におけるキネスティック教示と動画デモの間で、注視パターンはどのように異なるか？
• RQ2 行動軌跡が曖昧な状況において、注視固定点は意図や目的を明らかにできるか？
• RQ3 複数ステップのマニピュレーションタスクにおける部分的タスク分類において、注視がどの程度向上効果を示すか？
• RQ4 注視データを逆強化学習に組み込むと、報酬推定と方策学習にどのような影響を与えるか？
• RQ5 ビジュアルベースの注視推定は、ロボット学習において眼動追跡の利点を効果的に再現できるか？

主な発見

• 人間の教師は、キネスティック教示と動画デモの両方において、ボウルやプレートといったタスク関連対象に主に注視している。
• ステップキー・フレーム（意味的で部分的タスクを示す）と非ステップキー・フレーム（同じ動作、例：注ぎ分け）との間で注視パターンに有意義な差が認められ、部分的タスク分類の性能が最大6%向上した。
• ベイジアン逆強化学習（BIRL）に注視データを組み込むことで、動画デモでは方策損失が67.4%、キネスティック教示では53.7%低減され、注視が報酬推定を向上させることを示した。
• 動画デモはキネスティック教示よりも、より豊かで正確な注視信号を提供しており、方策学習における性能向上も顕著であった。
• 曖昧なデモが1つだけであっても、注視情報を含めることで、はるかに情報量が多くなり、学習性能が顕著に向上した。
• ビジュアルベースの注視推定は、ロボット学習応用において意図を示す固定点を捉えるための、実用的な代替手段であることが示された。