[논문 리뷰] Human-Robot Commensality: Bite Timing Prediction for Robot-Assisted Feeding in Groups

Jan Ondras, Abrar Anwar외 5명|arXiv (Cornell University)|2022. 07. 07.

Social Robot Interaction and HRI인용 수 4

한 줄 요약

이 논문은 인간-인간 사회적 신호를 분석하여 그룹 식사 환경에서 로봇 보조 식사 시 사회적으로 적절한 물기 시점을 예측하는 다중모달 딥러닝 모델 SoNNET을 제안한다. 30개의 삼인 식사 데이터를 포함하는 새로운 인간-인간 공식식사 데이터셋(HHCD)을 사용하여, 음성, 영상, 시선 신호를 융합함으로써 최적의 식사 시점을 유추한다. 사용자 연구에서 수동 또는 고정 간격 촉발 방식에 비해 사회적 통합성과 사용자 선호도가 크게 향상된다.

ABSTRACT

We develop data-driven models to predict when a robot should feed during social dining scenarios. Being able to eat independently with friends and family is considered one of the most memorable and important activities for people with mobility limitations. While existing robotic systems for feeding people with mobility limitations focus on solitary dining, commensality, the act of eating together, is often the practice of choice. Sharing meals with others introduces the problem of socially appropriate bite timing for a robot, i.e. the appropriate timing for the robot to feed without disrupting the social dynamics of a shared meal. Our key insight is that bite timing strategies that take into account the delicate balance of social cues can lead to seamless interactions during robot-assisted feeding in a social dining scenario. We approach this problem by collecting a Human-Human Commensality Dataset (HHCD) containing 30 groups of three people eating together. We use this dataset to analyze human-human commensality behaviors and develop bite timing prediction models in social dining scenarios. We also transfer these models to human-robot commensality scenarios. Our user studies show that prediction improves when our algorithm uses multimodal social signaling cues between diners to model bite timing. The HHCD dataset, videos of user studies, and code are available at https://emprise.cs.cornell.edu/hrcom/

연구 동기 및 목표

• 특히 그룹 식사 환경에서 사회적으로 인지된 물기 시점의 부재 문제를 해결하기 위해.
• 사회적 동적 변화를 방해하지 않으면서 로봇이 사용자를 언제 식사시켜야 할지 예측하는 데이터 기반 모델을 개발하기 위해.
• 인간-인간 상호작용에서 학습한 물기 시점 전략을 인간-로봇 공식식사 상황으로 이행하기 위해.
• 보조 로봇을 활용한 실제 삼인 그룹 사용자 연구를 통해 모델의 성능과 사회적 수용성을 평가하기 위해.

제안 방법

• 30개의 삼인 그룹 참가자들이 식사하는 과정에서 다중 시점 RGBD 영상과 방향성 음성 데이터를 수집한 인간-인간 공식식사 데이터셋(HHCD)을 확보하였다.
• 6초 간의 시간 창 동안 시선, 발화, 표정, 제스처 등의 다중모달 신호를 융합하는 사회적 물기 네트워크(SoNNET)를 개발하였다.
• 그룹 식사에서 자연스러운 사회적 리듬과 협업 패턴을 학습하기 위해 인간-인간 상호작용 데이터로 모델을 훈련시켰다.
• 훈련된 SoNNET 모델을 인간-로봇 식사 시나리오로 이식하여 실시간 물기 시점 결정을 위한 물리적 로봇에 구현하였다.
• 기준으로 사용된 입 열림 감지 촉발 방식과 비교하여 수동 및 고정 간격 촉발 방식과의 성능을 평가하기 위해 사용자 연구를 실시하였다.
• 사회적 수용성, 대화 흐름, 사용자 선호도 평가를 위해 10개의 삼인 그룹을 대상으로 사용자 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 공동 식사 중 대화나 그룹 분위기를 방해하지 않으면서 로봇이 사회적으로 적절한 물기 시점을 어떻게 유추할 수 있는가?
• RQ2 그룹 식사 환경에서 인간의 물기 시점 예측에 가장 예측력 있는 다중모달 사회적 신호는 무엇인가?
• RQ3 인간-인간 상호작용에서 학습한 물기 시점 전략을 인간-로봇 식사 시나리오로 성공적으로 이행할 수 있는가?
• RQ4 모델 기반 물기 시점 예측 방식은 수동 또는 고정 간격 촉발 방식에 비해 사회적 수용성과 사용자 경험 측면에서 어떻게 다를까?
• RQ5 식사 환경에서 로봇의 위치, 음성 프롬프트, 움직임 등의 요소 중 어떤 것이 사회적 방해로 인지되는 데 가장 큰 영향을 미치는가?

주요 결과

• 사용자 연구에서 SoNNET 모델은 수동 및 고정 간격 촉발 방식보다 유의미하게 뛰어난 성능을 보였으며, 사용자들은 이를 더 자연스럽고 방해가 적다고 평가했다.
• 다중모달 사회적 신호—특히 시선, 발화 정지, 표정 변화—는 물기 시점 예측 정확도를 향상시키고 더 매끄러운 사회적 상호작용을 가능케 하였다.
• 로봇 사용자의 70%는 입 열림 감지 시점에 음성 프롬프트가 방해가 된다고 느꼈다. 이는 조용하거나 맥락 인식 기반의 프롬프트 메커니즘이 필요함을 시사한다.
• 동행 식사자들은 로봇의 움직임과 음성 간섭이 대화 흐름을 방해한다고 평가했으며, 특히 시점 예측이 어긋나거나 눈맞춤이 차단될 경우 더욱 심각하게 느꼈다.
• 장애 요소가 있었음에도 불구하고, 70%의 사용자와 동행 식사자가 SoNNET을 사용했을 경우 대화가 크게 방해받지 않았다고 보고했으며, 많은 이들이 로봇을 '재미있는 네 번째 식구'로 묘사했다.
• 데이터셋과 코드는 https://emprise.cs.cornell.edu/hrcom/ 에 공개되어 향후 사회적 인지 기반 로봇 식사 연구를 위한 기초 자원이 될 수 있다.