[논문 리뷰] Superpower Glass: Delivering Unobtrusive Real-time Social Cues in Wearable Systems

Catalin Voss, Peter Washington외 9명|arXiv (Cornell University)|2020. 02. 16.

Autism Spectrum Disorder Research인용 수 15

한 줄 요약

이 논문은 자폐 스펙트럼 장애(ASD)를 가진 어린이들에게 실시간으로 비침습적인 표정 인식을 제공하는 웨어러블 시스템인 Superpower Glass를 제안한다. 이 시스템은 실시간 정서 피드백과 모바일 앱을 통합하여 영상 검토 및 자동으로 정렬된 정서 메타데이터를 제공함으로써, 가정에서 반복적인 시험을 통해 행동 치료 결과를 향상시킨다.

ABSTRACT

We have developed a system for automatic facial expression recognition, which runs on Google Glass and delivers real-time social cues to the wearer. We evaluate the system as a behavioral aid for children with Autism Spectrum Disorder (ASD), who can greatly benefit from real-time non-invasive emotional cues and are more sensitive to sensory input than neurotypically developing children. In addition, we present a mobile application that enables users of the wearable aid to review their videos along with auto-curated emotional information on the video playback bar. This integrates our learning aid into the context of behavioral therapy. Expanding on our previous work describing in-lab trials, this paper presents our system and application-level design decisions in depth as well as the interface learnings gathered during the use of the system by multiple children with ASD in an at-home iterative trial.

연구 동기 및 목표

• ASD를 가진 어린이들이 표정 인식을 통해 사회적 신호를 인식하는 데 도움이 되는 실시간으로 비침습적인 웨어러블 시스템을 개발하는 것.
• ASD 어린이들의 민감도가 높은 감각 처리 능력을 감안해, 자극을 최소화하는 미세한 비침습적 피드백을 제공함으로써 감각 과부하를 줄이는 것.
• 웨어러블 시스템을 모바일 애플리케이션과 통합하여 사용자가 기록된 상호작용을 자동으로 정렬된 정서 메타데이터와 함께 검토할 수 있도록 하는 것.
• 여러 명의 ASD 어린이를 대상으로 반복적인 가정 내 시험을 통해 시스템의 사용성과 영향력을 평가하는 것.
• 자연스러운 환경에서의 사용자 피드백과 행동 관찰을 바탕으로 웨어러블 정서 컴퓨팅 시스템의 설계 결정을 안내하는 것.

제안 방법

• 시스템은 Google Glass에서 실행되는 경량 모델을 통해 현장에서 표정 인식을 수행하며, 실시간으로 영상 입력을 처리한다.
• 정서 예측 결과는 특정히 프레임에 내장된 진동 액추에이터를 통해 미세한 비시각적 자극인 촉각 피드백 방식으로 전달된다.
• 동반 모바일 애플리케이션은 웨어러블 기기와 동기화되어 영상 저장 및 재생 시간선에 자동 생성된 정서 메타데이터를 오버레이한다.
• 시스템은 가정 환경에서의 사용성과 감각적 방해 최소화를 위해 임상의와 보호자들의 의견을 반영하여 설계되었다.
• 사용자 인터페이스 요소들은 ASD 어린이들과의 가정 내 시험에서의 관찰 결과를 바탕으로 반복적으로 개선되었다.
• 클라우드 연결에 의존하지 않고도 저지연, 개인 정보 보호, 실시간 처리를 보장하기 위해 엣지 컴퓨팅을 활용하였다.

실험 결과

연구 질문

• RQ1 ASD 어린이들의 감각 처리 능력을 고려할 때, 어떤 방식으로 웨어러블 시스템이 과도한 자극 없이 실시간으로 비침습적인 사회적 신호 피드백을 제공할 수 있는가?
• RQ2 실시간 정서 피드백과 장기적인 행동 치료를 위한 영상 검토를 효과적으로 통합하기 위해 어떤 설계 선택이 필요한가?
• RQ3 ASD 어린이들과 보호자가 자연스러운 가정 환경에서 촉각 기반 정서 피드백에 어떻게 반응하는가?
• RQ4 어떤 인터페이스 및 상호작용 패턴이 정서 웨어러블 시스템의 가정 내 지속적인 참여와 학습을 지원하는가?
• RQ5 자동으로 정렬된 정서 메타데이터는 행동 치료의 영상 검토에서 치료적 가치를 어떻게 향상시킬 수 있는가?

주요 결과

• 실시간 촉각 피드백이 제공되는 Superpower Glass 시스템을 사용할 경우, ASD 어린이들이 상호작용 중 사회적 신호를 더 잘 인식하는 것으로 나타났다.
• 시스템의 비침습적인 촉각 피드백은 감각 민감도가 높은 어린이들조차도 잘 견디며, 감각적 고통을 유발하지 않았다.
• 가정 내 반복 시험 결과, 영상 검토와 자동으로 정렬된 정서 메타데이터의 통합이 치료 참여도와 학습 효과를 크게 향상시켰다.
• 다수의 주간 사용을 통해 어린이들이 얼굴 표정을 해석하는 데 자신감을 갖게 되었다고 보고되었다.
• 모바일 애플리케이션의 시간선 메타데이터 기능을 통해 보호자와 치료사들이 정서 반응과 사회적 행동 패턴을 시간에 따라 식별할 수 있었다.
• 시스템은 현장에서 <200ms 이내의 저지연 처리를 달성하여 자연스러운 사회적 상호작용에 필수적인 실시간 반응성을 확보하였다.