[논문 리뷰] How Neurotypical and Autistic Children Interact Nonverbally with Anthropomorphic Agents in Open-Ended Tasks

Chuxuan Zhang, Bermet Burkanova외 4명|arXiv (Cornell University)|2026. 03. 08.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

본 연구는 신경발달 특성이 일반적인 아동과 자폐 아동이 여섯 개의 의인화된 가상 캐릭터와의 자발적이고 개방형 비언어적 상호작용을 분석하여 아동 특유의 행동을 풍부하게 보여주고, 그룹 간의 유사점을 강조하는 한편 성인 연구에서 보고되지 않은 새로운 행동들을 드러낸다.

ABSTRACT

What nonverbal behaviors should a robot respond to? Understanding how children-both neurotypical and autistic-engage with embodied artificial agents is critical for developing inclusive and socially interactive systems. In this paper, we study "open-ended" unconstrained interactions with embodied agents, where little is known about how children behave nonverbally when given few instructions. We conducted a Wizard-of-Oz study in which children were invited to interact nonverbally with 6 different embodied virtual characters displayed on a television screen. We collected 563 (141 unique) nonverbal behaviors produced by children and compare the childre's interaction patterns with those previously reported in an adult study. We also report the presence of repetitive face and hand movements, which should be considered in the development of nonverbally interactive artificial agents.

연구 동기 및 목표

• 신경발달 특성이 일반적인 아동과 자폐 아동, 그리고 성인(비교를 위한) 간의 비언어적 상호작용 패턴에서의 유사점과 차이점 식별
• 구현된 에이전트에서 제스처 및 활동 인식과 관련된 아동이 생성한 비언어적 행동의 카탈로그 작성
• 다양한 아동의 행동을 해석할 수 있는 사회적으로 적응하는 구현 시스템의 포용적 설계에 정보 제공

제안 방법

• Wizard-of-Oz 프로토콜로 여섯 개 구현된 가상 캐릭터(2명 인간형, 2명 동물형, 2명 물체형)와의 제약없는 상호작용을 가능하게 한다
• 참여자: 7–12세 아동 14명(신경발달 일반 10명, 자폐 4명); 제스처 데이터 최종 13명 참여자 이후 제스처를 그리기보다는 제스처를 하지 않은 한 명을 제외
• 데이터 수집은 두 명의 평가자와 타협 판단용 제3 평가자에 의한 비디오 녹화 데이터로 이루어지며, '지시된' 대 자발적 행동에 대한 추가 주석
• 소프트웨어 스택에는 Animaze 캐릭터 애니메이션, 상체 추적을 위한 Webcam Motion Capture, 실시간 원격 조작을 위한 Zoom이 포함
• 비교 가능성을 유지하기 위해 성인 연구와 일치하도록 연령에 맞춘 지시 및 프롬프트로 조정
• 분석은 성인 연구(zhan2024react)와 유사하게 비언어 행동을 물리적, 정서적, 사회적 범주로 주제별 코딩으로 이루어짐

Figure 1. Left: Physical setup of the study room. Right: 6 virtual characters used in the study.

실험 결과

연구 질문

• RQ1 자폐 아동과 신경발달 일반 아동은 개방형 과제에서 가상 에이전트와 어떻게 놀이하거나 상호작용하는가?
• RQ2 아동이 구현된 에이전트와 상호작용할 때 생성하는 비언어적 행동은 무엇이며 이것을 성인 데이터와 어떻게 비교되는가?
• RQ3 성인 데이터 세트에 누락된 아동 특유의 비언어적 행동이 있으며 HRI/HCI 설계에서 고려되어야 하는가?
• RQ4 여섯 가지 다른 에이전트 구현에서 발달적 또는 신경다양성 차이가 상호작용의 빈도나 유형에 나타나는가?

주요 결과

• 아동은 총 563회의 상호작용을 생성했으며(참여자-주도 537건; 에이전트-주도 26건), 이는 89가지 물리적, 18가지 정서적, 34가지 사회적 행동으로 분류되었다
• 성인과 비교할 때 아동은 비언어적 행동의 전반적인 다양성은 작지만, 성인 연구에서 발견되지 않은 아동 특유의 행동(예: 혀 내밀기, 패배자 제스처, 상상 놀이 등)을 보였다
• 이 작은 표본에서 신경발달 일반 그룹과 자폐 그룹 간 제스처 수의 차이는 유의하지 않았다
• 문자별로 행동 빈도에 유의미한 차이가 있었으며, 사회적 행동과 정서적 행동은 특히 펭귄 조건에서 보강 보정 이후 높게 나타났다
• 한 참가자(P7)는 얼굴/신체 제스처 대신 그림 그리기와 환경 조작을 사용하여 다중 모드 및 맥락이 풍부한 상호작용 전략을 보였다
• 네 참가자에서 반복적 행동이 관찰되었는데(한 명은 신경발달 일반, 세 명은 자폐), 운동적 매너리즘과 의사소통 탐색을 포함하며, 에이전트 응답에서 의사소통적 자극과 반복적 행동을 구분할 필요가 있음을 시사한다
• 전반적으로 141개의 서로 다른 비언어적 행동이 아동 포함 인터랙티브 시스템 설계에 관련 있음으로 확인되었다

Figure 2. Interaction behavior counts categorized the type of interaction.