[논문 리뷰] A Cross-cultural Corpus of Annotated Verbal and Nonverbal Behaviors in Receptionist Encounters

Maxim Makatchev, Reid Simmons외 1명|arXiv (Cornell University)|2012. 03. 11.

Social Robot Interaction and HRI참고 문헌 17인용 수 4

한 줄 요약

이 논문은 미국 펜실베이니아주 피츠버그와 카타르 도하에서 미국 영어와 아랍어 모국어 사용자들로부터 수집한 자연주의적 수신사 상호작용에서의 비언어적 행동에 대한 처음으로 공개 가능한 주석이 달린 코퍼스를 제시한다. 이 코퍼스는 여러 역할 놀이 세션 동안 시선, 제스처, 얼굴 표정, 신체 자세를 수동으로 주석 처리한 자료를 포함하며, 다문화적 행동 모델링을 통해 인간-로봇 상호작용을 발전시키는 데 유용한 자원을 제공한다.

ABSTRACT

We present the first annotated corpus of nonverbal behaviors in receptionist interactions, and the first nonverbal corpus (excluding the original video and audio data) of service encounters freely available online. Native speakers of American English and Arabic participated in a naturalistic role play at reception desks of university buildings in Doha, Qatar and Pittsburgh, USA. Their manually annotated nonverbal behaviors include gaze direction, hand and head gestures, torso positions, and facial expressions. We discuss possible uses of the corpus and envision it to become a useful tool for the human-robot interaction community.

연구 동기 및 목표

• 서비스 상황에서 비언어적 행동에 대한 주석이 달린 자연주의적 코퍼스의 부족을 해결하기 위해.
• 문화적으로 상이한 환경에서 역할 놀이 시뮬레이션 동안 고해상도 다모odal 데이터(언어적 및 비언어적)를 수집하고 주석 처리하기 위해.
• 공개 접근이 가능한 비언어적 행동 코퍼스를 구축하여 인간-로봇 상호작용 및 다문화 커뮤니케이션 분야의 연구를 지원하기 위해.
• 서비스 상황에서의 비언어적 행동에 대한 문화, 성별, 개인적 차이를 연구할 수 있도록 하기 위해.
• 로봇의 행동 현실성 및 사회 신호 처리 분야에서 가설 생성의 기반을 마련하기 위해.

제안 방법

• 미국 펜실베이니아주 피츠버그와 카타르 도하의 대학 수신대에서 미국 영어 및 아랍어 모국어 사용자들을 대상으로 자연주의적 역할 놀이 시뮬레이션을 수행하였다.
• 다양한 시험에서 22명의 참가자로부터 영상 데이터를 확보하였으며, 인구통계학적 정보, 성격(PIPI), 정서 상태(PANAS) 설문지를 함께 수집하였다.
• 말하기 발화, 시선 방향, 얼굴 표정, 머리 및 손 제스처, 몸통 방향을 주석 처리하기 위해 맞춤형 다트랙 주석 체계를 사용하였다.
• 다모달 행동의 시간에 맞춘 동기화 주석을 가능하게 하기 위해 Advene 영상 주석 도구를 적용하였다.
• 주로 대화의 턴 테이킹, 주의 집중 관리, 사회적 신호 기능과 같은 기능을 중심으로 비언어적 행동을 주석 처리하였다.
• 특히 시선 고정 및 미소 유형과 같은 주관적 신호의 신뢰성을 확보하기 위해 제2의 주석자에 의한 검증을 계획하였다.

실험 결과

연구 질문

• RQ1 다문화적 수신사 상호작용에서 수신사 역할과 방문자 역할 간의 시선 행동은 어떻게 다를까?
• RQ2 대화의 턴 테이킹 또는 연결 이벤트와 관련된 비언어적 행동(예: 고개 끄덕임, 눈길 주기)은 무엇인가?
• RQ3 문화 배경(예: 미국 영어 대비 아랍어)과 성별이 서비스 상황에서의 비언어적 행동 패턴에 어떻게 영향을 미치는가?
• RQ4 성격 또는 정서적 특성의 개인적 차이가 수신사 상호작용 중 비언어적 표현에 어느 정도 영향을 미치는가?
• RQ5 의도적인 미소나 방향성 포인터와 같은 비언어적 행동은 신뢰성 있게 주석 처리될 수 있으며, 이를 통해 사용자 만족도나 참여도를 예측할 수 있는가?

주요 결과

• 방문자 역할을 한 참가자들이 수신사 역할을 한 참가자들보다 상호 시선 빈도가 더 높았으며, 이는 역할 역동성에 따라 주의 집중이 변화함을 시사한다.
• 수신자 S12(미국 영어 어원자)는 방문자로부터 백채널 신호가 오기 전에 짧고 끊어진 시선을 보였는데, 이는 시선을 턴 테이킹 조율 수단으로 사용한 것으로 보인다.
• 수신자 S4(아랍어 어원자)는 지시 시퀀스의 끝까지 상호 시선을 유예하여 S12와는 대조적인 행동 패턴을 보였다.
• 이 코퍼스는 문화적 및 개인적 스타일에 따라 다른 비언어적 패턴을 포착하고 있으며, 고개 끄덕임 빈도와 시선 지속 시간의 차이가 포함된다.
• 주석 체계는 대화자, 방향, 환경 간의 시선 이동과 같은 복잡한 다모달 행동을 충분한 분해능으로 포착하여 행동 분석에 적합하였다.
• 이 코퍼스는 원본 영상/오디오를 제외한 첫 번째 공개 가능한 서비스 상호작용 비언어적 코퍼스이며, 수신사 상호작용에서의 비언어적 행동에 대한 첫 번째 주석이 달린 코퍼스이다.