[논문 리뷰] Learning Alignment for Multimodal Emotion Recognition from Speech

Haiyang Xu, Hui Zhang외 4명|arXiv (Cornell University)|2019. 09. 06.

Emotion and Mood Recognition참고 문헌 27인용 수 6

한 줄 요약

이 논문은 다중모달 정서 인식을 위해 음성과 ASR로 생성된 텍스트를 융합하기 위해 주의 기반의 정렬 메커니즘을 제안한다. 세부적인 시간적 대응을 모델링함으로써 특징 표현을 향상시킨다. 이 방법은 IEMOCAP 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 인식된 텍스트를 사용하여 70.4%의 가중 정확도와 69.5%의 비가중 정확도를 기록하여 단모달 및 연결 기반 다중모달 베이스라인을 모두 능가한다.

ABSTRACT

Speech emotion recognition is a challenging problem because human convey emotions in subtle and complex ways. For emotion recognition on human speech, one can either extract emotion related features from audio signals or employ speech recognition techniques to generate text from speech and then apply natural language processing to analyze the sentiment. Further, emotion recognition will be beneficial from using audio-textual multimodal information, it is not trivial to build a system to learn from multimodality. One can build models for two input sources separately and combine them in a decision level, but this method ignores the interaction between speech and text in the temporal domain. In this paper, we propose to use an attention mechanism to learn the alignment between speech frames and text words, aiming to produce more accurate multimodal feature representations. The aligned multimodal features are fed into a sequential model for emotion recognition. We evaluate the approach on the IEMOCAP dataset and the experimental results show the proposed approach achieves the state-of-the-art performance on the dataset.

연구 동기 및 목표

• 음성과 텍스트 간의 시간적 정렬을 활용하여 다중모달 정서 인식 성능을 향상시키기 위해.
• 결정 레벨 융합의 한계를 해결하기 위해 시간 도메인에서 음성과 텍스트 간의 상호작용을 모델링하기 위해.
• ASR 시스템의 정렬에 의존하지 않고 음성 프레임과 텍스트 단어 간의 정렬을 엔드 투 엔드로 학습하기 위해.
• 정서 인식을 최적화한 주의 기반 정렬이 실제 경계 정렬보다 성능이 뛰어나다는 것을 보여주기 위해.
• 시각적 또는 진짜 텍스트에 접근할 수 없이 음성과 인식된 텍스트만을 사용하여 IEMOCAP 데이터셋에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 주의 메커니즘을 사용하여 음성 프레임과 텍스트 단어 간의 정렬을 학습함으로써, 다중모달 특징의 동적 융합을 가능하게 한다.
• 음성 특징은 CNN 또는 TDNN를 사용하여 추출한 후, 순차적 모델링을 위해 LSTM을 적용한다.
• 텍스트 특징은 LSTM과 주의를 통해 처리되며, 각 단어에 대해 관련된 음성 프레임을 주의하여 접근한다.
• 정렬된 다중모달 특징은 단어 수준에서 주의된 음성 특징과 텍스트의 은닉 상태를 연결하여 형성된다.
• 최종적으로, 융합된 다중모달 시퀀스를 정서 분류를 위해 다시 한 번 LSTM이 처리한다.
• 모델은 사전에 확보된 ASR 정렬에 의존하지 않고, 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 음성과 텍스트 간의 엔드 투 엔드로 학습된 주의 기반 정렬이 다중모달 정서 인식 성능을 향상시키는가?
• RQ2 정서 인식을 위해 특별히 학습된 정렬이 사전에 확보된 ASR 정렬보다 성능이 뛰어나게 되는가?
• RQ3 제안된 방법은 IEMOCAP 데이터셋에서 단모달 및 연결 기반 다중모달 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ4 ASR로 생성된 텍스트 대신 오라클 텍스트와 실제 단어 수준의 정렬을 사용할 경우 성능 향상은 어느 정도인가?
• RQ5 모델은 시각적 또는 진짜 텍스트에 접근하지 않고 음성과 인식된 텍스트만을 사용하여 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ASR로 생성된 텍스트를 사용하여 IEMOCAP 데이터셋에서 70.4%의 가중 정확도와 69.5%의 비가중 정확도를 기록하며, 모든 베이스라인을 능가한다.
• 오라클 텍스트와 실제 정렬을 사용할 경우, 모델은 72.5%의 가중 정확도와 70.9%의 비가중 정확도를 기록하여, 더 나은 ASR 성능이면 향상 여력이 있음을 시사한다.
• 주의 기반 정렬 방법은 하드 정렬 베이스라인(71.5% WA 대비 70.4% WA)을 능가하며, 정서 인식을 최적화한 정렬이 음성 인식 최적화 정렬보다 더 효과적임을 보여준다.
• 학습된 정렬을 통한 다중모달 접근은 단모달 모델(예: 음성 전용일 경우 63.4% WA)과 연결 기반 방법(68.1% WA)보다 성능 향상이著명하다.
• 결과는 ASR 시스템의 정렬에 의존하기보다 정서 인식을 위해 정렬을 학습하는 것이 더 효과적임을 보여주며, 특히 ASR가 블랙박스일 경우 더욱 그렇다.
• 모델는 IEMOCAP 데이터셋에서 최신 기술 수준 성능을 달성하여 엔드 투 엔드로 학습된 다중모달 정렬의 효과성을 입증한다.