[논문 리뷰] Clinical Depression and Affect Recognition with EmoAudioNet.

Emna Rejaibi, Daoud Kadoch외 5명|arXiv (Cornell University)|2019. 11. 01.

Emotion and Mood Recognition참고 문헌 5인용 수 7

한 줄 요약

EmoAudioNet는 음성의 시간-주파수 표현과 스펙트럼 시각화를 사용하여 자동 임상적 우울증 및 연속 감정 인식을 향상시키는 딥 뉴럴 네트워크입니다. 이는 RECOLA 및 DAIC-WOZ 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 뛰어난 정확도를 보입니다.

ABSTRACT

Automatic analysis of emotions and affects from speech is an inherently challenging problem with a broad range of applications in Human-Computer Interaction (HCI), health informatics, assistive technologies and multimedia retrieval. Understanding human's specific and basic emotions and reacting accordingly can improve HCI. Besides, giving machines skills to understand human's emotions when interacting with other humans can help humans with a socio-affective intelligence. In this paper, we present a deep Neural Network-based architecture called EmoAudioNet which studies the time-frequency representation of the audio signal and the visual representation of its spectrum of frequencies. Two applications are performed using EmoAudioNet : automatic clinical depression recognition and continuous dimensional emotion recognition from speech. The extensive experiments showed that the proposed approach significantly outperforms the state-of-art approaches on RECOLA and DAIC-WOZ databases. The competitive results call for applying EmoAudioNet on others affects and emotions recognition from speech applications.

연구 동기 및 목표

• 음성에서 임상적 우울증과 연속적인 감정 상태를 인식할 수 있는 딥 러닝 모델을 개발하는 것.
• 음성 신호의 시간-주파수 표현과 시각적 스펙트로그램 특징을 활용하여 영향 인식 성능을 향상시키는 것.
• 음성 데이터를 사용한 우울증 및 감정 인식 작업에서 기존 최신 기술 수준의 방법을 능가하는 것.
• 인간-컴퓨터 상호작용에서 사회정서지능을 위한 다중모odal 음성 표현 학습의 잠재력을 탐색하는 것.

제안 방법

• EmoAudioNet는 음성 신호의 시간-주파수 표현을 처리하는 딥 뉴럴 네트워크 아키텍처를 사용합니다.
• 영향 인식을 위한 특징 학습을 향상시키기 위해 주파수 스펙트럼의 시각적 표현을 통합합니다.
• 원시 음성 신호에서 양방향으로 특징을 추출하기 위해 엔드 투 엔드로 훈련됩니다. 이는 우울증 및 연속 감정 인식에 대한 분류 기반 특징을 추출합니다.
• RECOLA 및 DAIC-WOZ 데이터베이스의 레이블이 부여된 데이터를 사용하여 지도 학습을 수행하여 분류 및 회귀 작업을 최적화합니다.
• 스펙트로그램의 국소 패턴과 음성의 시간적 동역학을 포착하기 위해 컨볼루션 레이어를 통합합니다.
• 이 프레임워크는 이진 분류(임상적 우울증)와 연속 감정 차원(예: 긍정성, 각성)에 대한 회귀라는 두 가지 주요 작업을 지원합니다.

실험 결과

연구 질문

• RQ1 시간-주파수 및 스펙트럼 시각 특징을 통합한 딥 뉴럴 네트워크가 음성에서 임상적 우울증 탐지에 성능 향상을 이끌 수 있는가?
• RQ2 EmoAudioNet은 음성에서 연속적인 감정 차원 인식에 있어 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?
• RQ3 다중모달 음성 표현은 기준 데이터셋에서 영향 인식 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 아키텍처는 우울증과 기본 감정을 초월한 다른 영향 인식 작업으로 일반화될 수 있는가?

주요 결과

• EmoAudioNet은 연속 감정 차원 인식에 대해 RECOLA 데이터셋에서 최신 기술 수준의 접근 방식을 크게 능가합니다.
• 기존 방법과 비교해 EmoAudioNet은 DAIC-WOZ 데이터셋에서 임상적 우울증 인식에 뛰어난 성능을 달성합니다.
• 시간-주파수 표현과 시각적 스펙트로그램 특징의 통합은 영향 인식 정확도 향상에 기여합니다.
• 두 데이터셋에서의 경쟁적 성능은 EmoAudioNet이 다양한 음성 기반 영향 인식 응용 분야에서 뛰어난 일반화 잠재력을 지닌다는 것을 시사합니다.