[論文レビュー] What Are You Looking at? Detecting Human Intention in Gaze based Human-Robot Interaction

Lei Shi, Cosmin Copot+1 more|arXiv (Cornell University)|Sep 17, 2019

Gaze Tracking and Assistive Technology参考文献 25被引用数 4

ひとこと要約

本論文は、眼動-trackingグラスから得られる実際の注視データと、物体のサリエンシー地図から導出された仮説的注視分布を比較するために、Earth Mover’s Distance (EMD) を用いた人間-ロボットインタラクションのための注視意図検出手法を提案する。固定点ベースの手法とは異なり、この手法は注視の急移動（サッケード）や注視ノイズに対しても頑健であり、成功予測内での物体選択の成功率が92.2%に達し、固定点ベースの手法と比較して削除誤りを最大75%まで低減する。

ABSTRACT

In gaze based Human-Robot Interaction (HRI), it is important to determine the human intention for further interaction. The gaze intention is often modelled as fixation. However, when looking at an object, it is not natural and it is difficult to maintain the gaze fixating on one point for a long time. Saccades may happen while a human is still focusing on the object. The prediction of human intention will be lost during saccades. In addition, while the human intention is on object, the gazes may be located outside of the object bounding box due to different noise sources, which would cause false negative predictions. In this work, we propose a novel approach to detect whether a human is focusing on an object in HRI application. We determine the gaze intention by comparing the similarity between the hypothetic gazes on objects and the actual gazes. We use Earth Mover's Distance (EMD) to measure the similarity and 1 Nearest Neighbour to classify which object a human is looking at. Our experimental results indicate that, compare to fixation, our method can successfully determine the human intention even during saccadic eye movements and increase the classification accuracy with noisy gaze data. We also demonstrate that, in the interaction with a robot, the proposed approach can obtain a high accuracy of object selection within successful predictions.

研究の動機と目的

• 注視の急移動や注視意図の誤りに起因する、固定点ベースの注視意図検出法の限界を是正すること。
• 移動型眼動-trackingシステムにおけるボクシングボックスのばらつき、キャリブレーションのずれ、頭部の動きといったノイズ要因に対して頑健性を向上させること。
• 注視ポイントが物体のボクシングボックスの外にある場合でも、人間の視覚的意図を正確に検出できる手法を開発すること。
• 注視による相互作用において、確認ジェスチャーを用いて信頼性の高い物体選択を可能にすること。

提案手法

• 下位から上位への視覚的サリエンシー・モデルを用いて、物体のボクシングボックス内からサリエンティの領域をサンプリングし、仮説的注視分布を生成する。
• 人間が物体を観察している間、移動型眼動-trackingグラスから実際の注視分布を収集する。
• 仮説的注視分布と実際の注視分布の類似度を測るために、Earth Mover’s Distance (EMD) を用いる。
• ノルム拒否を備えた1-Nearest Neighbor (1-NN) 分類器を適用し、現在の注視パターンに最も類似した物体に割り当てる。
• ロボットとの相互作用における物体選択の確認として、0.5秒間目を閉じるというシンプルな眼ジェスチャーを用いる。
• 類似度測定としてKLダイバージェンスとバタチャーリャ距離を用いた固定点ベース分類法と、本手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 固定点ベースの手法が失敗する注視の急移動中でも、注視意図を信頼性高く検出できるか？
• RQ2 ボクシングボックスのばらつきやキャリブレーションのずれによって生じる注視ノイズは、HRIにおける物体選択の正確性にどのように影響するか？
• RQ3 ノイズの多い注視データにおいて、サリエンシーに基づく注視分布モデルは、固定点ベースのアプローチと比較して、より頑健になるか？
• RQ4 注視ポイントと仮説ポイント間のユークリッド距離との相関性において、EMDはKLダイバージェンスやバタチャーリャ距離をどのように上回るか？
• RQ5 本手法を用いた実際のHRIシナリオにおける物体選択の成功率はどの程度か？

主な発見

• 本手法は、固定点ベースの手法と比較して、注視の急移動や注視意図の誤りに起因する削除イベントを最大75%まで低減し、削除率は3.0–6.5%に対し、固定点ベースでは17.0–26.3%であった。
• ロボットとの相互作用における成功予測内での物体選択成功率は92.2%に達し、現実世界のHRIにおいて高い信頼性を示した。
• EMDは、注視ポイントと仮説ポイント間のユークリッド距離との相関性において、KLダイバージェンスやバタチャーリャ距離を上回り、飽和問題を回避した。
• ノイズの影響で注視ポイントが物体のボクシングボックスの外に位置しても、本手法は高い正確性を維持したが、固定点ベースの手法はそのような条件下で失敗した。
• 注視データがクリアでボクシングボックス内に収まっている場合には、固定点ベースの手法も同程度の性能を示したが、ノイズの多い条件下では本手法が著しく優れていた。