[논문 리뷰] Improved Digital Therapy for Developmental Pediatrics Using Domain-Specific Artificial Intelligence: Machine Learning Study

Peter Washington, Haik Kalantarian외 17명|arXiv (Cornell University)|2020. 12. 16.

Autism Spectrum Disorder Research참고 문헌 32인용 수 14

한 줄 요약

이 연구는 발달 정신의학 분야의 디지털 치료를 향상시키기 위해 도메인 전용 AI 접근법을 도입하여, 게임화된 시스템을 활용해 21,550건의 아동 정서 영상을 수집하고 레이블링함으로써 대규모 소아 얼굴 표정 데이터셋을 구축하였다. 특화된 컨volutional 신경망(CNN)은 CAFE 데이터셋의 고합의도 하위집단에서 79.1%의 균형 잡힌 정확도를 달성하여 이전 모델보다 10% 높은 성능을 보이며, 임상 적용을 위한 소아 전용 정서 인식 분야에서의 중대한 진전을 보여주었다.

ABSTRACT

Background: Automated emotion classification could aid those who struggle to recognize emotions, including children with developmental behavioral conditions such as autism. However, most computer vision emotion recognition models are trained on adult emotion and therefore underperform when applied to child faces. Objective: We designed a strategy to gamify the collection and labeling of child emotion-enriched images to boost the performance of automatic child emotion recognition models to a level closer to what will be needed for digital health care approaches. Methods: We leveraged our prototype therapeutic smartphone game, GuessWhat, which was designed in large part for children with developmental and behavioral conditions, to gamify the secure collection of video data of children expressing a variety of emotions prompted by the game. Independently, we created a secure web interface to gamify the human labeling effort, called HollywoodSquares, tailored for use by any qualified labeler. We gathered and labeled 2155 videos, 39,968 emotion frames, and 106,001 labels on all images. With this drastically expanded pediatric emotion-centric database (>30 times larger than existing public pediatric emotion data sets), we trained a convolutional neural network (CNN) computer vision classifier of happy, sad, surprised, fearful, angry, disgust, and neutral expressions evoked by children. Results: The classifier achieved a 66.9% balanced accuracy and 67.4% F1-score on the entirety of the Child Affective Facial Expression (CAFE) as well as a 79.1% balanced accuracy and 78% F1-score on CAFE Subset A, a subset containing at least 60% human agreement on emotions labels. This performance is at least 10% higher than all previously developed classifiers evaluated against CAFE, the best of which reached a 56% balanced accuracy even when combining "anger" and "disgust" into a single class.

연구 동기 및 목표

• 일반 목적의 정서 인식 모델이 자폐 등 발달 장애가 있는 아동의 얼굴에 대해 낮은 성능을 보이는 문제를 해결하기 위해.
• 소아 정서 데이터셋이 부족한 문제를 해결하기 위해 안전하고 확장 가능한 방법을 통해 아동 얼굴 표정을 수집하고 레이블링하는 데 목적이 있다.
• 소아 정서 표현에 특화된 도메인 전용 AI 모델을 개발하여 발달 정신의학 분야의 자동화된 치료 도구를 향상시키기 위해.
• 새로운 아동 중심의 데이터 수집 및 레이블링 파이프라인을 통해 소아 정서 인식의 정확도와 신뢰도를 향상시키기 위해.

제안 방법

• 아동들이 자연스럽고 유쾌한 환경에서 정서를 표현하는 영상을 수집하기 위해 스마트폰 게임인 GuessWhat을 활용하였다.
• 소아 영상의 얼굴 표정을 정확하게 레이블링하기 위해 인간 레이블러를 모집하고 참여시키기 위한 웹 기반 게임화 플랫폼인 HollywoodSquares를 개발하였다.
• 총 21,550개의 영상, 39,968개의 정서 프레임, 106,001개의 개별 레이블을 수집하고 정제하여 새로운 소아 정서 데이터셋을 구축하였다.
• 일곱 가지 정서 카테고리—행복, 슬픔, 놀람, 두려움, 분노, 혐오, 중립—를 분류하기 위해 이 확장된 데이터셋으로 컨volutional 신경망(CNN)을 훈련시켰다.
• 신뢰성 확보를 위해 모델은 소아 정서 얼굴 표정(CAFE) 데이터셋과 그 고합의도 하위집단(CAFE Subset A)에서 평가되었다.
• 데이터 수집 및 레이블링 모두에서 암호화된 데이터 전송 및 액세스 제어를 통해 데이터 기밀성과 보안을 우선시하였다.

실험 결과

연구 질문

• RQ1 기존의 전통적 방법에 비해 게임화된 데이터 수집이 소아 얼굴 표정 데이터셋의 규모와 품질을 크게 향상시킬 수 있는가?
• RQ2 아동 중심 데이터로 훈련된 도메인 전용 CNN이 일반 목적의 모델에 비해 정서 인식 정확도를 얼마나 향상시키는가?
• RQ3 CAFE 데이터셋의 다양한 하위집단, 특히 인간 레이블러 간 높은 합의도를 보이는 하위집단에서 모델 성능은 어떻게 변하는가?
• RQ4 실제 디지털 치료 환경에서 아동 정서 데이터의 수집 및 레이블링을 위한 안전하고 확장 가능한 파이프라인이 효과적으로 구현될 수 있는가?
• RQ5 대규모로 정제된 소아 정서 데이터셋으로 훈련된 자동 정서 인식의 성능 한계는 무엇인가?

주요 결과

• 제안된 CNN은 전체 CAFE 데이터셋에서 66.9%의 균형 잡힌 정확도와 67.4%의 F1 스코어를 달성하여 이전 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 인간 레이블러 간 최소 60% 이상의 합의도를 보이는 CAFE Subset A에서는 79.1%의 균형 잡힌 정확도와 78%의 F1 스코어를 기록하여 이전 최고 성능 모델보다 10% 향상된 성능을 보였다.
• 성능 향상은 기존 공개된 소아 정서 데이터셋보다 30배 이상 큰 데이터셋으로 훈련된 모델 덕분이었다.
• 고합의도 하위집단에서의 정확도(79.1%)는 '분노'와 '혐오'를 하나의 클래스로 통합한 경우조차도 이전 연구에서 보고된 최고의 56% 균형 잡힌 정확도를 초월하였다.
• 게임화된 데이터 수집 및 레이블링 파이프라인이 실제로 21,550개의 영상과 100,000개 이상의 레이블을 성공적으로 확보하여 실생활 소아 정신건강 환경에서의 확장성과 신뢰성을 입증하였다.
• 이 연구는 소아 정서 인식 분야에서 임상적으로 의미 있는 성능를 달성하기 위해 도메인 전용 데이터와 모델이 필수적임을 확인하였다.