[논문 리뷰] Understanding Teacher Gaze Patterns for Robot Learning

Akanksha Saran, Elaine Schaertl Short외 2명|arXiv (Cornell University)|2019. 07. 16.

Gaze Tracking and Assistive Technology참고 문헌 36인용 수 8

한 줄 요약

이 논문은 인간 교사의 주의 집중 패턴이 로봇 학습에서의 모방 학습(LfD)을 어떻게 향상시킬 수 있는지 조사한다. 운동학적 지도와 영상 지도에서의 주의 패턴을 분석함으로써, 저자들은 주의가 하위작업 분류를 최대 6% 향상시키고, 역강화학습에서 정책 손실을 최대 67.4% 감소시킴으로써 주의가 의도 추론과 효율적 학습을 위한 핵심 신호임을 입증한다.

ABSTRACT

Human gaze is known to be a strong indicator of underlying human intentions and goals during manipulation tasks. This work studies gaze patterns of human teachers demonstrating tasks to robots and proposes ways in which such patterns can be used to enhance robot learning. Using both kinesthetic teaching and video demonstrations, we identify novel intention-revealing gaze behaviors during teaching. These prove to be informative in a variety of problems ranging from reference frame inference to segmentation of multi-step tasks. Based on our findings, we propose two proof-of-concept algorithms which show that gaze data can enhance subtask classification for a multi-step task up to 6% and reward inference and policy learning for a single-step task up to 67%. Our findings provide a foundation for a model of natural human gaze in robot learning from demonstration settings and present open problems for utilizing human gaze to enhance robot learning.

연구 동기 및 목표

• 로봇 학습에서의 모방 학습(LfD) 과정에서 인간의 주의 패턴이 의도와 작업 구조를 어떻게 드러내는지 이해하는 것.
• 운동학적 지도(KT)와 영상 지도 모odalities 간에 주의 패턴이 다름을 조사하는 것.
• 모순되거나 복잡한 작업 시나리오에서 주의 데이터가 로봇 학습을 향상시킬 수 있는지 확인하는 것.
• 하위작업 분할, 기준 프레임 추론, 보상 학습을 향상시키는 데 주의를 활용하는 알고리즘을 개발하고 검증하는 것.
• 주의를 계산적으로 유용한 신호로 정립하여 효율적이고 일반화 가능한 로봇 정책 학습을 가능하게 하는 것.

제안 방법

• 운동학적 지도와 영상 지도에서의 조작 작업에 대해 눈동자 추적을 활용한 인간 피험자 연구를 수행하여, KT 및 영상 지도 중 실제 주의 정지 위치를 수집하였다.
• 작업과 관련된 물체에 집중하는 등 의도를 드러내는 주의 행동을 특정하였으며, 단계 키프레임과 비단계 키프레임 간의 정지 패턴 차이를 분석하였다.
• 두 가지 개념 증명용 알고리즘을 제안: 주의 기반 키프레임 분할을 활용한 하위작업 분류 알고리즘과 주의 데이터를 보완하는 베이지안 역강화학습(BIRL) 알고리즘.
• 특히 모호한 지도에서 정책 학습과 보상 추론을 향상시키기 위해 주의 정지 위치를 특징으로 사용하였다.
• 여러 지도 조건(1대 5)에서 정책 손실과 배치 손실 지표를 사용해 성능을 평가하였다.
• 실제 환경 구현에서 눈동자 추적기의 저비용 대안으로 시각 기반 주의 추정을 사용할 수 있는지 탐색하였다.

실험 결과

연구 질문

• RQ1 로봇 학습에서 운동학적 지도와 영상 지도 간 주의 패턴은 어떻게 다를까?
• RQ2 행동 경로가 모호할 경우 주의 정지 위치가 의도와 목표를 드러낼 수 있는가?
• RQ3 다단계 조작 작업에서 주의가 하위작업 분류에 얼마나 기여하는가?
• RQ4 주의 데이터를 포함시킬 경우 역강화학습에서 보상 추론과 정책 학습에 어떤 영향을 미치는가?
• RQ5 시각 기반 주의 추정은 눈동자 추적의 효과를 효과적으로 재현할 수 있는가?

주요 결과

• 운동학적 지도와 영상 지도 모두에서 인간 교사는 주로 Bowls나 Plates와 같은 작업과 관련된 물체에 주로 정지한다.
• 단계 키프레임(의미적 하위작업을 구분하는)과 비단계 키프레임(예:倒기와 같은 동일한 동작에 속함) 간의 주의 패턴에 의미 있는 차이가 있으며, 이는 최대 6% 향상된 하위작업 분류를 가능하게 한다.
• 베이지안 역강화학습(BIRL)에 주의 데이터를 통합함으로써 영상 지도의 경우 정책 손실이 67.4% 감소하고, 운동학적 지도의 경우 53.7% 감소하여 주의가 보상 추론을 향상시킴을 입증하였다.
• 영상 지도는 운동학적 지도보다 더 풍부하고 정확한 주의 신호를 제공하여 정책 학습에서 더 큰 성능 향상을 이끌어냈다.
• 단 한 개의 모호한 지도라도 주의 데이터가 포함되면 훨씬 더 정보가 풍부해져 학습 성능이 크게 향상된다.
• 시각 기반 주의 추정은 로봇 학습 응용 분야에서 의도를 드러내는 정지 위치를 캡처하는 데 있어 눈동자 추적기의 실용적 대체 수단으로 가능성이 있다.