[논문 리뷰] A Two-stage Multi-modal Affect Analysis Framework for Children with Autism Spectrum Disorder

Jicheng Li, Anjana Bhat외 1명|arXiv (Cornell University)|2021. 06. 17.

Autism Spectrum Disorder Research참고 문헌 27인용 수 7

한 줄 요약

이 논문은 놀이 치료 중 자폐성 발달 장애(ASD)를 가진 어린이의 정서 상태를 긍정, 부정, 중립의 세 가지 정서 상태로 분류하기 위해 음성 및 얼굴 정서 인식을 활용한 이단계 다중모달 프레임워크를 제안한다. 인간의 전문 지식을 활용해 두 단계의 스키마(음성 신호를 통해 먼저 부정 정서 상태를 탐지하고, 이후 얼굴 표정을 통해 긍정과 중립을 구분)를 설계함으로써 전체 정확도 72.40%를 달성하였으며, ASD 정서 분석 분야에서 인간의 통찰력과 기계 학습을 융합한 새로운 접근을 제시한다.

ABSTRACT

Autism spectrum disorder (ASD) is a developmental disorder that influences the communication and social behavior of a person in a way that those in the spectrum have difficulty in perceiving other people's facial expressions, as well as presenting and communicating emotions and affect via their own faces and bodies. Some efforts have been made to predict and improve children with ASD's affect states in play therapy, a common method to improve children's social skills via play and games. However, many previous works only used pre-trained models on benchmark emotion datasets and failed to consider the distinction in emotion between typically developing children and children with autism. In this paper, we present an open-source two-stage multi-modal approach leveraging acoustic and visual cues to predict three main affect states of children with ASD's affect states (positive, negative, and neutral) in real-world play therapy scenarios, and achieved an overall accuracy of 72:40%. This work presents a novel way to combine human expertise and machine intelligence for ASD affect recognition by proposing a two-stage schema.

연구 동기 및 목표

• 기존 접근 방식이 일반 정서 데이터셋에 의존하여 ASD 특유의 정서 표현 패턴을 고려하지 않는 바, ASD를 대상으로 한 전문화된 정서 인식 모델의 부족을 보완하기 위해.
• 도메인 이탈, 데이터 노이즈, 희소 레이블링 등의 문제를 해결하기 위해 전이 학습 및 미세조정 기법을 적용하여 실제 놀이 치료 데이터에 적합한 모델을 개발하기 위해.
• 임상적 통찰력(예: 부정 정서 상태에서의 특이한 음성 패턴, 긍정과 중립 상태 간의 얼굴 표정 차이)을 기계 학습 파이프라인에 통합하기 위해.
• 향후 자동 치료 평가 및 임상 애너테이션 연구를 지원하기 위해 재현 가능하고 오픈소스 기반의 다중모달 정서 분석 기준을 제공하기 위해.
• 물리치료사가 영상 기록에서 어린이의 정서 상태를 자동으로 탐지함으로써 치료 결과 평가를 보다 효율적으로 수행할 수 있도록 지원하기 위해.

제안 방법

• 음성 정서 인식(SER)을 기반으로 소리의 특징(예: 소리치기, 외침)을 이용해 어린이가 부정 정서 상태인지 여부를 먼저 분류하는 이단계 분류 스키마를 사용한다.
• 두 번째 단계에서는 비부정 클립을 대상으로 얼굴 정서 인식(FER)을 활용해 긍정 또는 중립 정서 상태로 분류한다.
• 실제 놀이 치료 영상 기록을 포함한 ASD-정서 데이터셋에 적합하기 위해, SER 및 FER 모두에 사전 학습된 모델을 활용한 전이 학습 및 미세조정을 적용한다.
• 원래 인간 전문가를 대상으로 애너테이션된 데이터셋이지만, 기계 학습에 적합하도록 노이즈, 저해상도, 일관되지 않은 레이블링 문제를 해결하기 위해 광범위한 데이터 후처리 및 정제를 수행한다.
• 각 참가자별로 예측 결과를 정규화하여, 다양한 개인 간의 평가가 공정하게 이루어지도록 한다.
• 모든 세 정서 클래스의 성능을 평가하기 위해 혼동 행렬과 F1 점수를 사용하며, 각 단계별 별도 분석을 통해 클래스별 성능 격차를 규명한다.

실험 결과

연구 질문

• RQ1 실제 놀이 치료 세션 중 자폐성 발달 장애를 가진 어린이의 긍정, 부정, 중립 정서 상태를 효과적으로 구분할 수 있는 이단계 다중모달 프레임워크는 가능한가?
• RQ2 특히 부정 정서 상태에서의 특이한 음성 패턴과 긍정/중립 상태 간의 얼굴 표정 차이를 인지하는 임상 전문 지식의 통합이, ASD 정서 인식에서 기계 학습 성능을 얼마나 향상시키는가?
• RQ3 정상 발달 아동과 자폐성 발달 장애 아동 간의 도메인 이탈이 사전 학습된 정서 인식 모델의 ASD 전용 데이터에서의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 저해상도, 배경 노이즈, 장시간의 레이블링되지 않은 클립 등의 데이터 품질 문제들이 실생활 치료 영상에서의 정서 인식 정확도에 어떤 영향을 미치는가?
• RQ5 기계 학습을 활용해 수동 작업을 줄이면서도 정확도를 유지할 수 있도록, 임상의가 치료 영상을 애너테이션하는 데 도움이 되는 반자동 애너테이션 프레임워크를 개발할 수 있는가?

주요 결과

• 모든 세 정서 클래스(긍정, 부정, 중립)에 대해 전체 정확도가 72.40%에 도달하였고, F1 점수는 0.75로, 실생활 ASD 치료 데이터에서 이단계 프레임워크의 실현 가능성을 입증하였다.
• 첫 번째 단계(부정 대 비부정)에서 소수 클래스(부정)의 리콜이 68.42%를 기록하여, 음성 신호를 통한 부정 정서 탐지에서 중간 수준의 성능을 보였다.
• 두 번째 단계(긍정 대 중립)에서는 중립의 리콜이 78.29%, 긍정의 리콜이 63.24%로 나타났으며, F1 점수는 0.79로, 중립과 긍정 상태를 더 잘 구분하는 데 성공하였다.
• 참가자별로 정규화된 예측 결과를 통해, 참가자 간에 일반화 능력이 뛰어나다는 점이 확인되었으며, 참가자별 혼동 행렬에서 녹색 및 파란 영역이 더 넓어 일관된 정확한 분류가 이루어졌음을 보여주었다.
• 이 데이터셋에서는 음성 정서 인식(SER)이 얼굴 정서 인식(FER)보다 성능이 뛰어났는데, 이는 부정 정서 상태에서 더 뚜렷하고 식별 가능한 음성 패턴(예: 소리치기)이 존재하기 때문으로 보인다.
• 주된 클래스와 비주류 클래스 간의 성능 격차는 긍정과 중립 상태 간의 미세한 얼굴 표정 차이를 인식하는 데서 비롯되며, 특히 저해상도 및 노이즈 조건에서 이 문제가 더욱 두드러진다.