[논문 리뷰] Deep Multimodal Learning for Emotion Recognition in Spoken Language

Yue Gu, Shuhong Chen외 1명|arXiv (Cornell University)|2018. 02. 22.

Emotion and Mood Recognition참고 문헌 14인용 수 12

한 줄 요약

이 논문은 CNN을 사용해 텍스트의 공간적 특징을 추출하고 RNN을 사용해 음성의 시간적 특징을 모델링하는 하이브리드 아키텍처를 결합하여 말하는 정서 인식을 위한 텍스트 및 음성 특징을 공동으로 학습하는 딥 다중모달 프레임워크를 제안한다. 이후 교차 모odal 융합을 위해 3층의 딥 신경망을 사용해 엔드 투 엔드 학습을 수행한다. 이 모델은 5개 정서 카테고리에 대해 IEMOCAP 데이터셋에서 60.4%의 가중 정확도를 달성한다.

ABSTRACT

In this paper, we present a novel deep multimodal framework to predict human emotions based on sentence-level spoken language. Our architecture has two distinctive characteristics. First, it extracts the high-level features from both text and audio via a hybrid deep multimodal structure, which considers the spatial information from text, temporal information from audio, and high-level associations from low-level handcrafted features. Second, we fuse all features by using a three-layer deep neural network to learn the correlations across modalities and train the feature extraction and fusion modules together, allowing optimal global fine-tuning of the entire structure. We evaluated the proposed framework on the IEMOCAP dataset. Our result shows promising performance, achieving 60.4% in weighted accuracy for five emotion categories.

연구 동기 및 목표

• 말하는 언어에서 정서 인식을 향상시키기 위해 텍스트 및 음성 모odal을 모두 활용하고자 한다.
• 하이브리드 딥 러닝 아키텍처를 통해 텍스트의 공간적 의존성과 음성의 시간적 동역학을 모델링하고자 한다.
• 특징 추출 및 융합 모듈의 엔드 투 엔드 학습을 통해 교차 모달 상관관계를 학습하고자 한다.
• 전체 다중모달 시스템의 최적의 글로벌 미세조정을 통해 성능 향상을 이루고자 한다.

제안 방법

• 하이브리드 딥 신경망 아키텍처를 사용한다: CNN은 텍스트에서 고수준의 공간적 특징을 추출하고, RNN은 음성의 시간 패턴을 모델링한다.
• 저수준의 수작업으로 구성된 특징(예: 프로소딕 및 언어적 단서)을 각 모달의 표현을 풍부하게 하기 위해 통합한다.
• 3층의 딥 신경망이 다중모달 특징을 융합하여 텍스트와 음성 입력 간의 복잡한 상관관계를 학습한다.
• 전체 시스템은 엔드 투 엔드로 학습되어 특징 추출 및 융합 구성 요소의 공동 최적화를 가능하게 한다.
• 양 모달의 고수준 표현은 융합 네트워크 내에서 학습된 어텐션 또는 연결 기반 메커니즘을 사용해 통합된다.

실험 결과

연구 질문

• RQ1 딥 다중모달 프레임워크는 말하는 언어에서 정서 인식을 향상시키기 위해 텍스트 및 음성 특징을 효과적으로 융합할 수 있는가?
• RQ2 텍스트 및 음성 모달에서의 공간적 및 시간적 모델링은 정서 인식 성능에 어떻게 기여하는가?
• RQ3 특징 추출기와 융합 모듈을 별도로 학습하는 것보다 전체 네트워크의 엔드 투 엔드 학습이 더 나은 성능을 내는가?
• RQ4 저수준의 수작업 특징 통합은 최종 정서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 5개 정서 카테고리에 대해 IEMOCAP 데이터셋에서 60.4%의 가중 정확도를 달성한다.
• 특징 추출 및 융합 모듈의 공동 학습은 별도 학습보다 성능 향상을 이끈다.
• 저수준의 수작업 특징 통합은 학습된 표현의 구분 능력을 향상시킨다.
• 하이브리드 아키텍처는 공간적(텍스트) 및 시간적(음성) 패턴을 효과적으로 포착하여 강건한 정서 인식에 기여한다.