[논문 리뷰] Towards Robust Deep Neural Networks for Affect and Depression Recognition

Emna Rejaibi, Daoud Kadoch외 5명|arXiv (Cornell University)|2019. 11. 01.

Emotion and Mood Recognition인용 수 1

한 줄 요약

이 논문은 음성에서 정서 및 우울증 인식을 향상시키기 위해 시간-주파수 표현과 스펙트로그램 시각적 특징을 활용하는 딥 뉴럴 네트워크인 EmoAudioNet을 제안한다. 이는 RECOLA 및 DAIC-WOZ 데이터셋에서 각각 각각 89.30%의 정확도로 자극도, 91.44%로 공감도, 73.25%로 우울증 예측에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Intelligent monitoring systems and affective computing applications have emerged in recent years to enhance healthcare. Examples of these applications include assessment of affective states such as Major Depressive Disorder (MDD). MDD describes the constant expression of certain emotions: negative emotions (low Valence) and lack of interest (low Arousal). High-performing intelligent systems would enhance MDD diagnosis in its early stages. In this paper, we present a new deep neural network architecture, called EmoAudioNet, for emotion and depression recognition from speech. Deep EmoAudioNet learns from the time-frequency representation of the audio signal and the visual representation of its spectrum of frequencies. Our model outperforms the state-of-the-art methods for RECOLA and for DAIC-WOZ datasets and it reaches high accuracies of 89.30%, 91.44% and 73.25% in predicting arousal, valence, and depression, respectively.

연구 동기 및 목표

• 임상 환경에서 음성 신호를 이용해 중증 우울장애(MDD)의 조기 진단을 위한 강건한 딥 러닝 모델을 개발하는 것.
• 임상 및 지능형 모니터링 응용 분야에서 자극도 및 공감도와 같은 정서 상태 인식의 정확도를 향상시키는 것.
• 다중모odal 음성 표현을 활용하여 MDD에서의 낮은 자극도 및 낮은 공감도 패턴에 도전하는 것.
• 기준 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하는 정서 및 우울증 인식 작업 성능을 달성하는 것.

제안 방법

• EmoAudioNet은 음성 신호의 시간-주파수 표현과 그들의 시각적 스펙트로그램 표현을 모두 처리하도록 설계된 딥 뉴럴 네트워크 아키텍처이다.
• 모델은 음성 신호의 스펙트럼 분석을 통해 원시 음성에서 특징을 통합하여 말의 정서적 단서를 포착한다.
• 엔드 투 엔드 학습을 활용하여 음성 입력을 자극도, 공감도 및 우울 수준 예측으로 매핑한다.
• 모델은 영향도 차원에 걸쳐 성능을 최적화하기 위해 RECOLA 및 DAIC-WOZ 데이터셋에서 훈련된다.
• 네트워크는 스펙트로그램과 시간적 특징으로부터 계층적인 패턴을 추출하기 위해 합성곱 및 완전 연결 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 아키텍처는 임상 환경에서 음성 신호로부터 자극도 및 공감도를 효과적으로 인식할 수 있는가?
• RQ2 통합 모델은 기존 방법들에 비해 우울증 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 시간-주파수 및 스펙트로그램 표현은 MDD 관련 음성에서 정서 인식의 강건성에 어떻게 기여하는가?
• RQ4 음성 및 시각적 스펙트럼 특징를 통합하면 기준 데이터셋에서 우수한 성능을 달성할 수 있는가?

주요 결과

• EmoAudioNet은 RECOLA 데이터셋에서 자극도 인식에 대해 89.30%의 예측 정확도를 달성한다.
• 모델은 동일한 데이터셋에서 공감도 분류에 대해 91.44%의 정확도를 기록하며, 최신 기술 수준의 방법들을 능가한다.
• DAIC-WOZ 데이터셋에서의 우울증 인식에 대해 EmoAudioNet은 73.25%의 정확도를 달성하여 임상적 MDD 검출에서 뛰어난 성능을 보였다.
• 시간-주파수 및 스펙트로그램 표현의 통합은 모델의 강건성과 예측 성능을 크게 향상시켰다.