[논문 리뷰] Classification of Infant Crying in Real-World Home Environments Using Deep Learning

Xuewen Yao, Megan Micheletti외 2명|arXiv (Cornell University)|2020. 05. 12.

Infant Health and Development인용 수 4

한 줄 요약

이 논문은 780시간의 연속적인 웨어러블 기록 음성 데이터를 사용하여 실생활 가정 환경에서 유아의 고통 울음 소리를 분류하기 위해 스펙트로그램과 음향 특징을 결합한 딥러닝 모델을 제안한다. 이 모델은 실생활 데이터에서 기존의 최고 실천 방법(0.166)과 최신 기술(0.26)보다 뚜렷이 높은 F1 스코어 0.597을 달성한다.

ABSTRACT

In the domain of social signal processing, audio recognition is a promising avenue for accessing daily behaviors that contribute to health and well-being. However, despite advances in mobile computing and machine learning, audio behavior detection models are largely constrained to data collected in controlled settings, such as call centers. This is problematic as it means their performance is unlikely to generalize to real-world applications. In the current paper, we present a model combining deep spectrum and acoustic features to detect and classify infant distress vocalizations from 24 hour, continuous, raw real-world data collected via a wearable audio recorder. Our model dramatically outperforms infant distress detection models trained and tested on equivalent real-world datasets. In particular, our model has an F1 score of 0.597 relative to F1 scores of 0.166 and 0.26 achieved by state-of-practice and state-of-the-art real-world infant distress classifiers, respectively. We end by discussing what may have facilitated this massive gain in accuracy, including using supervised deep spectrum features and the fact that we collected and annotated a massive dataset of 780 hours of real-world audio data with over 25 hours of labelled distress.

연구 동기 및 목표

• 통제된 환경이 아닌 실생활 환경에서 학습된 모델의 일반화 갭을 해소하기 위해.
• 지속적인 실생활 가정 기록에서의 유아 고통 발성 음성을 탐지하고 분류할 수 있는 견고한 음성 분류 시스템을 개발하기 위해.
• 780시간의 인간이 라벨링한 25시간 이상의 고통 울음 소리가 포함된 대규모 인간 라벨링 데이터셋과 감독된 딥 스펙트럼 특징을 활용하여 실생활 데이터에서의 성능을 향상시키기 위해.
• 감독된 깊이 있는 스펙트럼 표현과 대규모 실생활 데이터 수집이 유아 울음 소리 탐지의 정확도를 크게 향상시킬 수 있는지 조사하기 위해.

제안 방법

• 감독된 학습을 통해 얻은 깊이 있는 스펙트로그램 특징와 전통적인 음향 특징을 통합하여 표현 학습을 향상시킨다.
• 웨어러블 레코더를 통해 가정 환경에서 수집한 780시간의 연속적인 원시 음성 데이터의 대규모 데이터셋을 확보하였으며, 이 중 25시간 이상이 인간에 의해 고통 울음으로 수동 라벨링되었다.
• 딥 네ural 네트워크 아키텍처는 실생활 데이터셋을 기반으로 엔드 투 엔드로 학습되어 유아 울음 소리를 고통과 비고통으로 분류하도록 한다.
• 스펙트로그램 특징는 음성 스펙트로그램의 계층적 패턴을 학습하기 위해 컨volutional 네ural 네트워크(CNN)를 사용하여 추출되었다.
• 표준 평가 지표, 특히 F1 스코어를 사용하여 실생활 기록의 보류된 테스트 세트에서 모델을 평가하였다.
• 실생활 데이터와 감독된 특징 학습의 사용은 합성 또는 통제된 데이터로 학습된 모델에 비해 더 나은 일반화를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 실생활 연속 음성 데이터로 학습된 딥러닝 모델이 통제된 데이터로 학습된 모델보다 실생활에서 유아 고통 울음 소리를 분류하는 데 훨씬 높은 성능을 달성할 수 있는가?
• RQ2 기존의 음향 특징만 사용하는 것에 비해 감독된 깊이 있는 스펙트로그램 특징는 분류 정확도를 얼마나 향상시키는가?
• RQ3 실생활 데이터 수집의 규모가 유아 울음 소리 탐지 모델의 일반화 및 내구성에 어떤 영향을 미치는가?
• RQ4 통제된 데이터로 학습된 모델과 실생활 데이터로 학습된 모델 간의 성능 격차는 어떤 요소들 때문인가?

주요 결과

• 제안된 모델은 실생활 테스트 데이터에서 F1 스코어 0.597을 기록하여 기존의 최고 실천 방법(F1 = 0.166)보다 뚜렷한 향상을 보였다.
• 모델은 실생활 분류기 중 최신 기술로 평가된 F1 스코어 0.26을 기록한 기존 모델보다도 뛰어난 성능을 보이며 뚜렷한 성능 향상을 입증하였다.
• 감독된 깊이 있는 스펙트로그램 특징의 사용은 더 나은 표현 학습과 높은 탐지 정확도 향상에 기여하였다.
• 25시간 이상의 고통 울음 소리가 포함된 780시간의 대규모 실생활 음성 데이터셋은 모델의 향상된 일반화 능력의 핵심 요소였다.
• 결과적으로 실생활 환경에서의 데이터 수집은 통제된 설정을 벗어나 일반화되는 모델을 훈련시키는 데 필수적임을 시사한다.