[논문 리뷰] A Wearable Social Interaction Aid for Children with Autism

Nick Haber, Catalin Voss외 8명|arXiv (Cornell University)|2017. 01. 01.

Autism Spectrum Disorder Research참고 문헌 10인용 수 2

한 줄 요약

이 논문은 자폐 스펙트럼 장애를 가진 어린이들이 자연스러운 사회적 상황에서 얼굴 표정을 인식하고 사회적 상호작용 능력을 향상시킬 수 있도록 돕는 실시간 얼굴 표정 인식 기능을 갖춘 웨어러블 스마트글래스 시스템을 제안한다. 현장에서 학습된 머신러닝을 활용해 감정을 분류하고 비침습적인 피드백을 제공함으로써, 보호자가 정제된 사회적 상호작용 영상을 검토할 수 있도록 하여 기존 ABA 치료보다 더 빠르게 일반화되는 기술 습득이 가능한 스케일러블이고 홈 기반의 치료 전략의 잠재력을 입증한다.

ABSTRACT

With most recent estimates giving an incidence rate of 1 in 68 children in the United States, the autism spectrum disorder (ASD) is a growing public health crisis. Many of these children struggle to make eye contact, recognize facial expressions, and engage in social interactions. Today the standard for treatment of the core autism-related deficits focuses on a form of behavior training known as Applied Behavioral Analysis. To address perceived deficits in expression recognition, ABA approaches routinely involve the use of prompts such as flash cards for repetitive emotion recognition training via memorization. These techniques must be administered by trained practitioners and often at clinical centers that are far outnumbered by and out of reach from the many children and families in need of attention. Waitlists for access are up to 18 months long, and this wait may lead to children regressing down a path of isolation that worsens their long-term prognosis. There is an urgent need to innovate new methods of care delivery that can appropriately empower caregivers of children at risk or with a diagnosis of autism, and that capitalize on mobile tools and wearable devices for use outside of clinical settings.

연구 동기 및 목표

• 자폐 스펙트럼 장애를 가진 어린이들이 자연스러운 사회적 상황에서 얼굴 표정을 인식하는 데 도움이 되는 웨어러블이자 비임상적 도구를 개발하는 것.
• 클리닉 기반의 적용 행동 분석(Applied Behavior Analysis, ABA) 치료에 대한 의존도를 줄이기 위해 보호자가 집에서 치료를 제공할 수 있도록 하는 것.
• 실생활 사회적 상호작용 패턴을 캡처하는 스케일러블이고 데이터 기반의 시스템을 구축하여 연속적인 모니터링과 결과 평가를 가능하게 하는 것.
• 기술 기반 피드백이 기존 ABA 방법을 초월해 기술의 일반화를 가속화할 수 있는지 탐구하는 것.

제안 방법

• 시스템은 사회적 상호작용 영상을 실시간으로 촬영하기 위해 외부 카메라가 장착된 스마트글래스를 사용한다.
• 안드로이드 네이티브 앱이 현장에서 학습된 머신러닝을 활용해 영상 스트림을 즉각적으로 처리하여 얼굴 표정을 분류한다.
• 기기에서 실시간으로 비침습적인 피드백(예: 시각적 또는 촉각적 신호)을 착용자에게 제공하여 상호작용 중인 사람의 정서 상태를 알 수 있도록 한다.
• 동반 앱이 핵심 사회적 상호작용 순간을 자동으로 정제하고 강조하여 보호자가 자녀와 함께 검토하고 논의할 수 있도록 한다.
• 시스템은 사회적 상호작용 데이터, 즉 머리 자세와 표정 인식 정보를 기록하고 저장하여 장기적인 분석을 가능하게 한다.
• 사용성과 치료 통합을 개선하기 위해 28개 가정에서 실생활 주거 환경에서 수주간 시험한 디자인 스터디를 수행했다.

실험 결과

연구 질문

• RQ1 자폐 스펙트럼 장애를 가진 어린이들이 자연스러운 사회적 상황에서 실시간 얼굴 표정 피드백 기능이 탑재된 웨어러블 기기를 신뢰성 있게 사용할 수 있는가?
• RQ2 이 웨어러블 시스템을 활용한 홈 기반 치료가 기존 ABA보다 더 빠르고 더 넓은 범위의 기술 습득을 이끌 수 있는가?
• RQ3 보호자가 자동 정제된 영상 데이터를 효과적으로 활용해 임상 외부 환경에서 사회적 학습을 강화할 수 있는가?
• RQ4 지속적인 자동 데이터 캡처가 자폐 스펙트럼 장애의 치료 진행 상황 모니터링에 얼마나 기여할 수 있는가?

주요 결과

• 43명의 어린이(중 23명은 자폐 스펙트럼 장애)를 대상으로 한 실내 시범 테스트에서 참가자들이 표면 표정 자극을 성공적으로 해석하는 데 기기를 활용한 것으로 나타났다.
• 28개 가정에서 실시한 홈 기반 설계 스터디를 통해 8,000분이 넘는 실생활 사회적 상호작용 및 센서 데이터를 확보하였다.
• 보호자들은 시스템 덕분에 일상 루틴에서 더 자연스럽고 자주 치료를 제공할 수 있었다고 보고했다.
• 치료에 대한 감시를 하지 않은 부모와 교사의 관찰 결과, 표준 ABA에 비해 더 빠르고 더 광범위한 기술 향상이 관찰되었다.
• 시스템은 시간이 지남에 따라 얼굴 마주보기 빈도와 표정 인식 정확도와 같은 정량적 지표를 성공적으로 캡처하였다.
• 장기간의 주거 환경에서의 사용 가능성과 수용성을 입증하여 스케일러블하고 지속적인 치료 제공에 기여하는 것으로 나타났다.