[논문 리뷰] What Are You Looking at? Detecting Human Intention in Gaze based Human-Robot Interaction

Lei Shi, Cosmin Copot외 1명|arXiv (Cornell University)|2019. 09. 17.

Gaze Tracking and Assistive Technology참고 문헌 25인용 수 4

한 줄 요약

이 논문은 눈동자 추적 안경에서의 실제 눈동자 데이터와 물체의 사전 지각 지도로부터 유도된 가상의 눈동자 분포를 비교하기 위해 지구 이동 거리(EMD)를 사용하는 인간-로봇 상호작용을 위한 시선의 의도 탐지 방법을 제안한다. 고정 기반 방법과 달리, 이는 사카드 동안이나 눈동자 노이즈가 존재하는 상황에서도 강인하며, 성공적인 예측 내에서 물체 선택에 대해 92.2%의 성공률을 기록하고, 고정 기반 접근 방식 대비 삭제 오류를 최대 75% 감소시킨다.

ABSTRACT

In gaze based Human-Robot Interaction (HRI), it is important to determine the human intention for further interaction. The gaze intention is often modelled as fixation. However, when looking at an object, it is not natural and it is difficult to maintain the gaze fixating on one point for a long time. Saccades may happen while a human is still focusing on the object. The prediction of human intention will be lost during saccades. In addition, while the human intention is on object, the gazes may be located outside of the object bounding box due to different noise sources, which would cause false negative predictions. In this work, we propose a novel approach to detect whether a human is focusing on an object in HRI application. We determine the gaze intention by comparing the similarity between the hypothetic gazes on objects and the actual gazes. We use Earth Mover's Distance (EMD) to measure the similarity and 1 Nearest Neighbour to classify which object a human is looking at. Our experimental results indicate that, compare to fixation, our method can successfully determine the human intention even during saccadic eye movements and increase the classification accuracy with noisy gaze data. We also demonstrate that, in the interaction with a robot, the proposed approach can obtain a high accuracy of object selection within successful predictions.

연구 동기 및 목표

• 사카드 눈동자 운동 동안이나 시선 의도 오류로 인해 고정 기반 시선 의도 탐지 방법의 한계를 해결하기 위해.
• 이동식 눈동자 추적 시스템에서 경계 상자 변동, 校정 오프셋, 머리 움직임 등의 노이즈 원인에 대비한 강인성을 향상시키기 위해.
• 눈동자 지점이 물체 경계 상자 외부에 위치하더라도 인간의 시각적 의도를 정확하게 탐지할 수 있는 방법을 개발하기 위해.
• 상호작용을 위한 확인 제스처를 사용하여 HRI 시나리오에서 신뢰성 있는 물체 선택을 가능하게 하기 위해.

제안 방법

• 하나의 물체 경계 상자 내에서 하향식 시각적 사전 지각 모델을 사용하여 사전 지각 영역을 샘플링하여 가상의 눈동자 분포를 생성한다.
• 인간이 물체를 관찰하는 동안 이동식 눈동자 추적 안경을 통해 실제 눈동자 분포를 수집한다.
• 가상의 눈동자 분포와 실제 눈동자 분포 간의 유사도를 계산하기 위해 지구 이동 거리(EMD)를 사용한다.
• Null 거부 기능이 있는 1-최근접 이웃(1-NN) 분류기를 적용하여 현재 눈동자 패턴과 가장 유사한 물체를 할당한다.
• 로봇 상호작용에서 물체 선택을 확인하기 위해 간단한 눈동자 제스처—0.5초 동안 눈을 감는 것—를 사용한다.
• 유사도 측정 방법으로 KL 발산과 바타차리아 거리를 사용한 고정 기반 분류와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 고정 기반 방법이 실패할 때, 사카드 눈동자 운동 중에도 시선 의도를 신뢰성 있게 탐지할 수 있는가?
• RQ2 경계 상자 변동이나 校정 오프셋으로 인한 눈동자 노이즈가 HRI에서 물체 선택 정확도에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 눈동자 데이터에서, 사전 지각 기반 눈동자 분포 모델이 고정 기반 접근 방식보다 강인성을 향상시킬 수 있는가?
• RQ4 눈동자 분포 유사도 측정에서 EMD가 KL 발산과 바타차리아 거리보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 실제 HRI 시나리오에서 제안된 방법을 사용할 경우 물체 선택의 성공률은 어느 정도인가?

주요 결과

• 제안된 방법은 고정 기반 방법 대비 사카드와 시선 의도 오류로 인한 삭제 이벤트를 최대 75% 감소시켰으며, 삭제 비율은 3.0–6.5%로 측정되었고, 고정 기반 방법은 17.0–26.3%였다.
• 로봇 상호작용 중 성공적인 예측 내에서 물체 선택에 대해 92.2%의 성공률을 기록하여 실제 HRI 환경에서의 높은 신뢰성을 입증했다.
• 눈동자 지점과 가설 지점 간 유클리드 거리와의 상관관계에서 EMD가 KL 발산과 바타차리아 거리보다 뛰어난 성능을 보였고, 포화 현상도 피했다.
• 노이즈로 인해 눈동자 지점이 물체 경계 상자 외부에 위치하더라도 이 방법은 높은 정확도를 유지했지만, 고정 기반 방법은 이러한 조건에서 실패했다.
• 눈동자 데이터가 깨끗하고 경계 상자 내에 위치해 있을 경우 고정 기반 방법과 유사한 성능를 보였지만, 노이즈가 있는 조건에서는 제안된 방법이 뚜렷하게 뛰어난 성능를 보였다.