[논문 리뷰] It's Food Fight! Introducing the Chef's Hat Card Game for Affective-Aware HRI

Pablo Barros, Alessandra Sciutti외 5명|arXiv (Cornell University)|2020. 02. 25.

Social Robot Interaction and HRI참고 문헌 12인용 수 6

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI)에서 자연스러운 정서 반응을 유도하고 로봇이 인간의 정서를 인식하고 모델링하며 반응할 수 있도록 설계된 새로운 정서 인식 기반 HRI 시나리오인 'Chefs Hat' 카드 게임을 소개한다. 이 게임은 역할 기반 메커니즘, 신체적 특성, 카드 기반 행동을 통합하여 카메라와 마이크를 통한 지속적인 정서 모니터링을 지원하며, 비지도 정서 기억과 상호작용 기반 강화 학습을 통해 적응형 사회적 행동을 학습할 수 있도록 한다.

ABSTRACT

Emotional expressions and their changes during an interaction affect heavily how we perceive and behave towards other persons. To design an HRI scenario that makes possible to observe, understand, and model affective interactions and generate the appropriate responses or initiations of a robot is a very challenging task. In this paper, we report our efforts in designing such a scenario, and to propose a modeling strategy of affective interaction by artificial intelligence deployed in autonomous robots. Overall, we present a novel HRI game scenario that was designed to comply with the specific requirements that will allow us to develop the next wave of affective-aware social robots that provide adequate emotional responses.

연구 동기 및 목표

• 인간-로봇 상호작용(HRI)에 적합한 사회적이고 정서적으로 표현력 있는 카드 게임을 설계하여 자연스럽게 정서 반응을 유도하는 것.
• 로봇이 인간의 정서 상태와 사회적 상호작용을 자율적으로 감지하고 반응할 수 있는 게임 환경을 조성하는 것.
• 정서 인식 기반 로봇 개발을 지원하기 위해 훈련 및 평가용 정서 인식 및 반응 시스템을 위한 구조화되고 데이터 기반의 플랫폼을 제공하는 것.
• 비지도 및 상호작용 기반 강화 학습 메커니즘을 통해 정서 행동을 지속적이고 실시간으로 학습할 수 있도록 하는 것.
• 로봇의 통합이 게임 플로우를 방해하지 않도록 하여 자연스러운 인간-로봇 협업 및 상호작용 역학을 유지하는 것.

제안 방법

• 정서 역학을 핵심 메커니즘에 통합하기 위해 반복적인 사용자 테스트를 통해 공동 설계된 게임으로, 신체적 특성(모자, 넥타이 등)을 통해 정체성과 정서 표현을 가능하게 하는 역할 기반 역할(Chefs, Sous-Chefs, Waiters, Dishwashers)을 포함한다.
• 번호가 매겨진 재료 카드와 조커 카드를 사용하며, 인간의 인식과 로봇의 인식을 위한 QR 코드 및 카메라 추적을 고려해 최적화된 시각적 디자인을 적용한다.
• 피자 모양의 게임 보드는 11개의 구분된 영역을 포함하여 카드 순차적 배치를 보장하며, 기계 시각 정확도 향상을 위해 게임 상태 및 플레이어 행동 추적에 기여한다.
• 기존 연구에서 확보한 비지도 정서 기억을 통합한 인지 아키텍처를 구현하여 명시적 인간 레이블링이 필요 없이도 시간에 따라 변화하는 정서를 모델링할 수 있도록 한다.
• 로봇의 행동과 플레이어의 정서 피드백 간의 연관성을 학습하기 위해 상호작용 기반 강화 학습을 적용하여, 훈련 중에 인간의 적극적 간섭 없이도 최적의 행동을 학습할 수 있도록 한다.
• 로봇의 상호작용은 최소한의 간섭을 위해 설계되었으며, iCub 로봇은 카드 처리를 요청하는 구두로 표현하고, 프로젝터를 통해 카드를 투사하거나 카드 홀더를 사용하여 카드를 놓는 방식을 통해 게임의 유연성을 유지한다.

실험 결과

연구 질문

• RQ1 카드 게임은 인간 플레이어가 HRI 중에 다양한 정서 반응을 자연스럽게 유도할 수 있도록 어떻게 설계될 수 있는가?
• RQ2 어떤 게임 메커니즘이 로봇이 실시간으로 인간의 정서 상태와 사회적 상호작용을 감지하고 모델링할 수 있도록 하는가?
• RQ3 로봇은 자연스러운 인간 상호작용 플로우를 방해하지 않으면서 어떻게 사회적 게임에 통합될 수 있는가?
• RQ4 어떤 학습 프레임워크가 게임 전략과 사회적 참여를 유지하면서도 정서 피드백 기반으로 로봇의 행동을 적응시킬 수 있도록 하는가?
• RQ5 정서 인식 및 반응은 어떻게 지속적이고 자율적으로 학습될 수 있으며, 정기적인 인간 애너테이션 없이도 가능한가?

주요 결과

• 'Chefs Hat' 카드 게임은 반복적인 플레이 세션 동안 지속되는 좌절, 기쁨, 협업과 같은 다양한 자연스러운 정서 반응을 성공적으로 유도한다.
• 신체적 역할 특성(모자, 넥타이 등)과 구조화된 카드 배치의 통합은 게임 플레이 중 역할 명확성과 정서 표현을 크게 향상시킨다.
• QR 코드가 인식된 카드와 분할된 게임 보드의 조합은 카메라와 마이크를 통한 게임 상태 및 플레이어 행동의 정확한 실시간 추적을 가능하게 한다.
• 제안된 인지 프레임워크는 레이블이 없는 정서 데이터로도 시간에 따른 정서 변화를 모델링할 수 있도록 하는 비지도 정서 기억을 지원한다.
• 상호작용 기반 강화 학습은 훈련 중에 명시적인 인간 피드백 없이도 관찰된 플레이어 정서에 기반해 최적의 행동을 학습할 수 있도록 한다.
• 로봇이 카드 처리를 요청하고 프로젝터나 카드 홀더를 사용하는 지원적 플레이어 역할을 수행함으로써 게임의 유연성과 자연스러운 인간-로봇 상호작용을 유지한다.