[논문 리뷰] Learning to Engage with Interactive Systems: A field Study

Lingheng Meng, Daiwei Lin외 4명|arXiv (Cornell University)|2019. 04. 14.

Embodied and Extended Cognition인용 수 4

한 줄 요약

이 논문은 행동적 신호에서 인간의 참여도를 추정하고 이를 통해 물리적 에이전트에서 적응형이고 매력적인 상호작용을 학습하는 강화학습 프레임워크를 제안한다. 박물관 환경에서 상호작용 조각을 대상으로 평가한 결과, 시나리오 기반 행동보다 참여도와 선호도에서 뛰어난 성능을 보였으며, 자연 환경에서 적응형 상호작용 전략을 학습하는 것이 효과적임을 입증한다.

ABSTRACT

Physical agents that can autonomously generate engaging, life-like behaviour will lead to more responsive and interesting robots and other autonomous systems. Although many advances have been made for one-to-one interactions in well controlled settings, future physical agents should be capable of interacting with humans in natural settings, including group interaction. In order to generate engaging behaviours, the autonomous system must first be able to estimate its human partners' engagement level. In this paper, we propose an approach for estimating engagement from behaviour and use the measure within a reinforcement learning framework to learn engaging interactive behaviours. The proposed approach is implemented in an interactive sculptural system in a museum setting. We compare the learning system to a baseline using pre-scripted interactive behaviours. Analysis based on sensory data and survey data shows that adaptable behaviours within a perceivable and understandable range can achieve higher engagement and likeability.

연구 동기 및 목표

• 물리적 에이전트와의 상호작용 중 실시간으로 인간의 참여도를 추정하는 방법을 개발하는 것.
• 참여도를 보상 신호로 사용하여 강화학습을 통해 자율 시스템이 매력적인 행동을 학습할 수 있도록 하는 것.
• 실제 자연 환경인 박물관과 같은 통제되지 않은 환경에서 학습된 적응형 행동과 사전 스크립트된 상호작용을 비교하여 그 효과성을 평가하는 것.

제안 방법

• 시스템은 인간 상호작용 중 센서로부터 수집된 행동적 신호를 사용해 참여도를 추정한다.
• 강화학습 프레임워크는 참여도 추정치를 보상 신호로 사용하여 상호작용 행동을 최적화한다.
• 학습 과정은 박물관 공공 환경을 고려해 설계된 상호작용 조각 시스템에서 구현된다.
• 참여도 추정의 피드백에 기반해 실시간으로 행동을 적응시켜 동적인 상호작용을 가능하게 한다.
• 기준 비교를 위해 사전 스크립트된 비적응형 행동을 사용하여 성능을 평가한다.
• 참여도와 선호도 결과를 검증하기 위해 센서 데이터와 사용자 설문 조사 데이터를 수집한다.

실험 결과

연구 질문

• RQ1 자연적이고 비정형적인 인간-물리적 에이전트 상호작용에서 행동 데이터로부터 참여도를 신뢰성 있게 추정할 수 있는가?
• RQ2 참여도 추정에 기반한 강화학습을 통해 적응형 행동을 학습할 경우, 사전 스크립트된 행동보다 더 높은 사용자 참여도를 이끌 수 있는가?
• RQ3 사용자는 공공 환경에서 적응형 행동과 스크립트된 상호작용 행동을 어떻게 인식하고 평가하는가?

주요 결과

• 강화학습을 통해 학습된 적응형 행동은 사전 스크립트된 행동보다 유의미하게 높은 사용자 참여도를 보였다.
• 사용자들은 학습 기반 시스템을 사전 스크립트된 시스템보다 더 높은 선호도를 보였다.
• 참여도 추정 모델은 상호작용 도중 사용자 관심의 동적 변화를 성공적으로 포착했다.
• 실시간으로 적응할 수 있는 시스템의 능력이 더 자연스럽고 매력적인 상호작용을 가능케 했다.
• 센서 데이터와 설문 조사 결과가 결합되어 학습 프레임워크의 실제 환경에서의 효과성을 검증했다.
• 인정되고 이해할 수 있는 행동 적응은 공공 상호작용 시스템에서 사용자 경험을 향상시킨다는 점을 입증했다.