[논문 리뷰] The state of play of ASC-Inclusion: An Integrated Internet-Based Environment for Social Inclusion of Children with Autism Spectrum Conditions

Björn W. Schuller, Erik Marchi외 5명|arXiv (Cornell University)|2014. 03. 24.

Autism Spectrum Disorder Research참고 문헌 46인용 수 24

한 줄 요약

이 논문은 자폐 스펙트럼 장애(ASC)를 가진 어린이들의 사회적 포용성을 향상시키기 위해 얼굴 표정, 음성 톤, 신체 제스처 분석을 통합한 정서 인식 및 표현 능력을 기르는 인터넷 기반의 전문 게임 플랫폼인 ASC-Inclusion을 제시한다. 이 시스템은 검증된 자극과 다중 모odal 피드백을 가상 환경에서 사용하며, 초기 평가 결과는 5–10세 어린이를 대상으로 맞춤형 상호작용 게임을 통해 사회정서 기술 향상에 유망한 성과를 보였다.

ABSTRACT

Individuals with Autism Spectrum Conditions (ASC) have marked difficulties using verbal and non-verbal communication for social interaction. The running ASC-Inclusion project aims to help children with ASC by allowing them to learn how emotions can be expressed and recognised via playing games in a virtual world. The platform includes analysis of users' gestures, facial, and vocal expressions using standard microphone and web-cam or a depth sensor, training through games, text communication with peers, animation, video and audio clips. We present the state of play in realising such a serious game platform and provide results for the different modalities.

연구 동기 및 목표

• 자폐 스펙트럼 장애(ASC)를 가진 어린이들이 정서를 인식하고 표현하는 데 어려움을 겪는 사회적 의사소통 과제를 해결하기 위해.
• 다중 모달 정서 분석(얼굴, 음성, 제스처)을 통합한 상호작용 게임을 포함한 통합형 인터넷 기반 플랫폼을 개발하기 위해.
• 과학적으로 검증된 사용자 중심의 환경을 조성하여 가정에서의 조기 간섭과 장기적인 기술 개발을 지원하기 위해.
• 검증된 정서 자극과 사용자 피드백을 사용한 구조화된 무작위 대조 임상 시험을 통해 플랫폼의 효과성을 평가하기 위해.
• 예측 가능하고 안전하며 반복 가능하고 동기 부여가 되는 디지털 환경에서 사회정서적 의사소통 연습을 가능하게 하여 사회적 포용성을 증진하기 위해.

제안 방법

• 플랫폼은 세 가지 핵심 서브시스템을 통합한다: 차원 정서 모델(각성도 및 정서적 친화도)을 사용하는 얼굴 분석기, 음성 톤을 처리하는 음성 분석기, 운동 패턴을 감지하는 신체 제스처 분석기.
• 정서 인식 훈련은 496개의 검증된 얼굴 자극, 82개의 신체 제스처 자극, 95개의 사회적 상황 클립을 사용하며, 모두 전문 배우가 촬영하고 각 자극당 60명의 정상 발달 어른들이 평가했다.
• 음성 분석은 20명의 어린이(ASC가 있는 10명, 신경학적으로 정상인 10명)가 영어, hebrew, 스웨덴어로 기록한 정서 어휘를 사용하여, 맥락 어조를 포함한 스토리에 삽입하여 진정성 있는 정서 표현을 유도하였다.
• 시스템은 서브시스템 간 메시지 전달을 위해 ActiveMQ를 사용하며, 다중 모달 데이터를 게임 엔진에 실시간으로 통합한다.
• 콘텐츠 제작은 부모와 성인 대상 정서 설문 조사로 이루어졌으며, 포함하기 위해 20개의 핵심 정서(예: 기쁨, 분노, 슬픔, 자랑스러움)를 선정하였고, 우연의 정확도 보정 인식 점수가 50% 이상인 정서만 포함되었다.
• 플랫폼은 텍스트 채팅, 애니메이션 아바타, 비디오/오디오 재생을 지원하여 실제 사회적 상호작용을 시뮬레이션하며, 정서 인식 및 표현을 강화하기 위한 수업과 게임이 설계되었다.

실험 결과

연구 질문

• RQ1 통합형 인터넷 기반 플랫폼이 얼굴, 음성, 제스처 모odal을 활용하여 ASC를 가진 어린이들이 정서를 인식하고 표현하도록 효과적으로 훈련시킬 수 있는가?
• RQ2 다중 모달 자극을 사용할 경우, 단일 모달 또는 정적 이미지 기반 방법에 비해 ASC를 가진 어린이들이 정서 인식 과제에서 얼마나 잘 수행하는가?
• RQ3 플랫폼의 상호작용 기반 게임 방식이 사회정서 기술 향상과 실제 사회적 상호작용으로의 일반화에 얼마나 기여하는가?
• RQ4 다양한 문화권의 음성 녹음(영어, 히브리어, 스웨덴어)이 ASC를 가진 어린이들의 정서 인식 정확도에 어떤 영향을 미치는가?
• RQ5 실시간 다중 모달 피드백 통합이 전통적 교육 도구에 비해 ASC를 가진 어린이들의 학습 성과에 어떻게 향상되는가?

주요 결과

• 표준화된 통신 프로토콜과 ActiveMQ 메시징을 사용하여, 얼굴, 음성, 제스처 분석의 세 서브시스템이 통합된 게임 환경에 성공적으로 통합되었다.
• 사회적 상호작용에 핵심적인 20개의 정서 중, 우연의 정확도 보정 인식 점수가 50% 이상인 정서만 최종 콘텐츠에 포함되어 자극의 높은 타당성을 확보하였다.
• 60명의 평가자 각각이 평가한 496개의 얼굴 표정, 82개의 신체 제스처, 95개의 사회적 상황 영상 자료가 모두 최소 50%의 일致도를 확보하여 콘텐츠의 신뢰성 확인되었다.
• 음성 분석 모듈은 나선형 개발 과정을 거쳐 개선되었으며, 포커스 그룹 평가를 통해 새로운 음성 표현 평가 시스템이 현재 사용 중이다.
• 제스처 분석기는 향상된 특징 추출 및 정서 인식 모듈을 통합하여 실시간으로 플랫폼에 통합될 수 있게 되었다.
• 다중 모달 피드백을 활용한 상호작용 훈련 수업과 정서 표현 게임이 개발되어, 5–10세 ASC를 가진 어린이들의 참여도 및 기술 습득을 지원하였다.