[논문 리뷰] Nonverbal Robot Feedback for Human Teachers

Sandy H. Huang, Isabella Huang외 2명|arXiv (Cornell University)|2019. 11. 06.

Social Robot Interaction and HRI참고 문헌 15인용 수 7

한 줄 요약

이 논문은 로봇이 시범 학습 중 인간 교사의 현재 이해도를 알리기 위해 비언어적 피드백—특히 예측된 다음 동작 향한 시선을 사용할 것을 제안한다. PR2 로봇을 대상으로 한 가상 및 실제 환경 실험에서, 이러한 피드백은 교사의 로봇에 대한 정서적 모델을 향상시켰고, 더 효과적인 지도 전략(예: 정보성 예제의 증가 사용)을 이끌었으며, 특히 교사가 시선을 예측 피드백으로 올바르게 해석한 경우 로봇의 학습 정확도가 향상되었다.

ABSTRACT

Robots can learn preferences from human demonstrations, but their success depends on how informative these demonstrations are. Being informative is unfortunately very challenging, because during teaching, people typically get no transparency into what the robot already knows or has learned so far. In contrast, human students naturally provide a wealth of nonverbal feedback that reveals their level of understanding and engagement. In this work, we study how a robot can similarly provide feedback that is minimally disruptive, yet gives human teachers a better mental model of the robot learner, and thus enables them to teach more effectively. Our idea is that at any point, the robot can indicate what it thinks the correct next action is, shedding light on its current estimate of the human's preferences. We analyze how useful this feedback is, both in theory and with two user studies---one with a virtual character that tests the feedback itself, and one with a PR2 robot that uses gaze as the feedback mechanism. We find that feedback can be useful for improving both the quality of teaching and teachers' understanding of the robot's capability.

연구 동기 및 목표

• 로봇의 현재 지식 상태가 투명하지 않아 시범 학습에서 인간 교사의 지도가 비효율적인 문제를 해결하기 위함.
• 실시간 비언어적 로봇 피드백이 교사가 로봇의 선호에 대한 현재 가설을 이해하는 데 도움이 되어 지도 품질을 향상시킬 수 있는지 탐색하기 위함.
• 예측 피드백—로봇이 다음 교사 행동을 어떻게 예측하는지—이 교사의 정서적 모델과 지도 효과성에 영향을 주는지 테스트하기 위함.
• 실제 인간-로봇 상호작용에서 시선이 최소한의 비방해 피드백 수단으로서의 해석 가능성과 영향력을 평가하기 위함.

제안 방법

• 로봇은 현재 정책 추정치를 바탕으로 시범 중 인간 교사가 다음으로 수행할 동작을 예측한다.
• 이 예측을 비언어적 신호—특히 예측된 동작 위치 향한 눈동자 방향—을 통해 자신의 현재 믿음을 신호로 전달한다.
• 이 시스템은 두 가지 연구에서 평가되었다: 하나는 아마존 메카니컬 터크(AMT)에서 실시한 가상 학습자 실험이고, 다른 하나는 실제 PR2 로봇을 사용한 물리적 정리 작업 실험이다.
• 두 연구 모두 참가자가 피드백 유무에 따라 로봇에게 정렬 작업을 지도했으며, 지도 품질과 정서적 모델 정확도를 비교했다.
• 피드백는 로봇이 다음에 사용할 것으로 예상되는 바구니 향한 눈동자 방향으로 구현되었으며, 신뢰도를 전달하기 위해 머리 움직임 속도를 다양하게 설정했다.
• 지도 순서 길이, 예제 분포(내부 고리 대 외부 고리 물체), 학습자 정확도, 주관적 정서적 모델 불일치도 데이터를 수집했다.

실험 결과

연구 질문

• RQ1 교사의 다음 행동을 예측하는 비언어적 로봇 피드백이 교사가 로봇의 현재 지식 상태를 이해하는 데 도움이 될 수 있는가?
• RQ2 그러한 피드백이 더 정보성 있는 예제를 선택하는 등 더 효과적인 지도 전략을 이끌어낼 수 있는가?
• RQ3 로봇의 피드백이 학습 정책의 최종 정확도에 어떤 영향을 미치는가?
• RQ4 사용자에게 명시적 지시 없이도 인간이 시선을 행동 예측을 위한 피드백 수단으로 자연스럽게 이해할 수 있는가?
• RQ5 피드백의 효과가 사용자가 그 목적을 정확히 이해하는지 여부에 따라 달라지는가?

주요 결과

• AMT 실험에서 피드백은 외부 고리 물체의 예제 비율을 유의미하게 높였다(p < 0.0005), 이는 더 정보성 있는 지도를 의미한다.
• 현장 실험에서 시선을 예측 피드백으로 올바르게 해석한 참가자(G1)는 정서적 모델 불일치도가 유의미하게 감소했다(p = 0.0035), 이는 로봇에 대한 이해도 향상을 뒷받침한다.
• G1 참가자 그룹에서 피드백은 외부 고리 예제 비율이 유의미하게 증가했고(p < 0.02), 로봇의 학습 정확도도 향상되었다(p = 0.01).
• 시선을 잘못 이해한 참가자(G2)는 피드백의 영향이 유의미하지 않았으며, 정확한 해석의 중요성을 강조한다.
• 두 실험 모두에서 피드백이 지도 순서 길이에 유의미한 영향을 주지 않아, 피드백이 지도 흐름을 방해하지 않았음을 시사한다.
• 간단한 구현에도 불구하고 PR2 실험에서 참가자의 53%가 자연스럽게 시선을 예측 피드백으로 이해했으며, 이는 직관적인 해석 가능성의 증거이다.