[논문 리뷰] Deep Net Features for Complex Emotion Recognition

Bhalaji Nagarajan, O.V. Ramana Murthy|arXiv (Cornell University)|2018. 10. 31.

Emotion and Mood Recognition참고 문헌 2인용 수 3

한 줄 요약

이 논문은 복잡한 정서, 특히 호기심을 인식하기 위해 사전 훈련된 모델—AudioSet Net, VoxCeleb Net, Deep Speech Net의 딥 네트워크 특징을 활용하는 방법을 제안한다. 이러한 네트워크의 깊은 층들에서 추출하고 인코딩한 고수준 표현을 특징 벡터로 변환함으로써, EmoReact 데이터셋에서 F1 스코어 0.85를 달성하였으며, 이는 이전 베이스라인 0.69보다 뚜렷이 뛰어나다.

ABSTRACT

This paper investigates the influence of different acoustic features, audio-events based features and automatic speech translation based lexical features in complex emotion recognition such as curiosity. Pretrained networks, namely, AudioSet Net, VoxCeleb Net and Deep Speech Net trained extensively for different speech based applications are studied for this objective. Information from deep layers of these networks are considered as descriptors and encoded into feature vectors. Experimental results on the EmoReact dataset consisting of 8 complex emotions show the effectiveness, yielding highest F1 score of 0.85 as against the baseline of 0.69 in the literature.

연구 동기 및 목표

• 호기심과 같은 복잡한 정서를 인식하는 데 있어 다양한 청각적, 음성 이벤트, 어휘적 특징의 효과를 조사하는 것.
• AudioSet Net, VoxCeleb Net, Deep Speech Net과 같은 사전 훈련된 딥 네트워크의 유용성을 평가하여 정서 인식에서 특징 추출에 활용하는 것.
• 이러한 모델의 깊은 층들에서 유도된 고수준 표현이 복잡한 정서 분류에 강력한 기초 특징으로 기능할 수 있는지 탐색하는 것.
• 특히 8개의 정서 클래스를 포함한 EmoReact 데이터셋에서 기존의 베이스라인을 초월해 복잡한 정서 인식 성능을 향상시키는 것.

제안 방법

• 각각 다른 작업을 위해 대규모 음성 및 음향 데이터에서 훈련된 사전 훈련된 AudioSet Net, VoxCeleb Net, Deep Speech Net 모델을 활용하는 것.
• 이러한 네트워크의 더 깊고 더 추상적인 층들에서 특징 표현을 추출하여 고수준 의미 패턴을 포착하는 것.
• 추출된 깊은 층 특징을 후행 분류 작업을 위해 압축되고 구분력 있는 특징 벡터로 인코딩하는 것.
• EmoReact 데이터셋에서 호기심을 포함한 8개의 복잡한 정서를 인식하기 위해 통합된 깊은 특징으로 분류기 학습하는 것.
• 표준 평가 지표, 특히 F1 스코어를 사용하여 기존 최고 성능 결과와의 비교를 수행하는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델에서 유도된 청각적, 음성 이벤트, 어휘적 특징이 복잡한 정서 인식에 어떻게 기여하는가?
• RQ2 AudioSet Net, VoxCeleb Net, Deep Speech Net의 깊은 표현이 정서 인식 성능 향상에 얼마나 기여하는가?
• RQ3 사전 훈련된 네트워크의 고수준 특징이 호기심과 같은 복잡한 정서에 효과적으로 일반화될 수 있는가?
• RQ4 이러한 깊은 네트워크 특징을 사용할 경우 기존의 베이스라인 대비 얼마나 높은 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 EmoReact 데이터셋에서 F1 스코어 0.85를 달성하여 이전의 베이스라인 0.69보다 뚜렷한 향상을 보였다.
• 사전 훈련된 네트워크의 더 깊은 층들에서 추출한 딥 특징은 미세한 정서 상태를 포착하는 데 매우 효과적이었다.
• 청각적 특징, 음성 이벤트 특징, 자동 음성 번역 기반 어휘적 특징의 조합이 복잡한 정서에 대한 구분 능력을 향상시켰다.
• 다른 음성 응용 분야에 맞게 미세조정된 사전 훈련된 모델들 역시 정서 인식에 강력하고 이식 가능한 표현을 제공하였다.