[논문 리뷰] Deep neural networks for emotion recognition combining audio and transcripts

Jaejin Cho, Raghavendra Pappagari외 4명|arXiv (Cornell University)|2019. 11. 01.

Emotion and Mood Recognition참고 문헌 15인용 수 9

한 줄 요약

이 논문은 음성 기반 정서 인식을 향상시키기 위해 음성 특징(통로를 통한 LSTM)과 텍스트 전사(다중 해상도 CNN를 통한)를 융합하는 다중모달 딥러닝 접근법을 제안한다. 양 모odal 간 상보적인 정보를 활용함으로써 IEMOCAP에서 무게화되지 않은 정확도가 24% 상대적으로 향상되었고, 전화 데이터에서 3.4% 향상되었으며, 임베딩 간 분리도를 향상시키기 위해 검증 손실을 도입하였다.

ABSTRACT

In this paper, we propose to improve emotion recognition by combining acoustic information and conversation transcripts. On the one hand, an LSTM network was used to detect emotion from acoustic features like f0, shimmer, jitter, MFCC, etc. On the other hand, a multi-resolution CNN was used to detect emotion from word sequences. This CNN consists of several parallel convolutions with different kernel sizes to exploit contextual information at different levels. A temporal pooling layer aggregates the hidden representations of different words into a unique sequence level embedding, from which we computed the emotion posteriors. We optimized a weighted sum of classification and verification losses. The verification loss tries to bring embeddings from the same emotions closer while separating embeddings from different emotions. We also compared our CNN with state-of-the-art text-based hand-crafted features (e-vector). We evaluated our approach on the USC-IEMOCAP dataset as well as the dataset consisting of US English telephone speech. In the former, we used human-annotated transcripts while in the latter, we used ASR transcripts. The results showed fusing audio and transcript information improved unweighted accuracy by relative 24% for IEMOCAP and relative 3.4% for the telephone data compared to a single acoustic system.

연구 동기 및 목표

• 음성 및 텍스트 모달을 융합하여 음성 기반 정서 인식 성능을 향상시키기.
• 정서 분류를 위해 전사 자료의 다양한 맥락적 범위를 포괄하는 다중 해상도 CNN을 개발하기.
• 인간이 애너테이션한 전사 자료와 ASR로 생성된 전사 자료 양쪽에서 음성 및 전사 기반 시스템의 융합 성능을 평가하기.
• 불완전한 전사 자료를 포함한 실제 전화 대화 데이터에서 융합 시스템의 강인성을 입증하기.
• 검증 손실이 동일 정서의 임베딩을 더욱 가깝게 모으고 다른 정서 간의 분리를 강화함으로써 학습된 임베딩의 분류 능력을 향상시키는지 검증하기.

제안 방법

• LSTM 네트워크가 음성 특징(f0, shimmer, jitter, MFCC)을 처리하고, 전역 시간 평균 풀링을 통해 발화 수준의 표현을 생성한다.
• 다양한 커널 크기를 가진 병렬 컨볼루션 레이어를 사용하여 단어 시퀀스에서 다중 시간 스케일의 맥락 정보를 추출하는 다중 해상도 CNN.
• 시간 풀링 레이어가 단어 수준의 히든 표현을 하나의 시퀀스 수준 임베딩으로 집계하여 정서 분류에 활용한다.
• 분류 손실과 검증 손실의 가중 평균을 최적화하며, 검증 손실은 동일 정서의 임베딩을 더욱 가깝게 모으고 다른 정서 간의 분리를 강화하도록 유도한다.
• 시스템은 인간 애너테이션 전사 자료가 포함된 IEMOCAP 데이터셋과 ASR로 생성된 전사 자료가 포함된 미국 영어 전화 음성 데이터셋에서 훈련 및 평가된다.
• 융합 전략은 음성 LSTM과 전사 기반 MCNN의 예측을 조합하여 전체 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 음성 및 텍스트 정보를 융합하면 단일 모달 시스템을 초월해 음성 기반 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 전사 자료에서 정서 인식을 위해 다중 해상도 CNN은 기존 수작업으로 구성된 텍스트 특징(e-vectors 등)과 비교해 어떻게 성능을 냈는가?
• RQ3 ASR로 생성된 전사 자료를 포함한 실제 세계 데이터에서 음성 및 전사 기반 시스템의 융합이 성능 향상에 얼마나 기여하는가?
• RQ4 검증 손실을 사용할 경우 전사 기반 시스템에서 학습된 임베딩의 분류 능력이 향상되는가?
• RQ5 노이즈가 많은 ASR로 생성된 전사 자료를 사용할 경우 음성 및 텍스트 특징의 상보성이 유지되는가?

주요 결과

• 다중 해상도 CNN은 IEMOCAP 데이터셋에서 e-vector 베이스라인 대비 무게화되지 않은 정확도 4% 향상되었다.
• 음성 LSTM과 MCNN 시스템의 융합은 IEMOCAP에서 단일 음성 시스템 대비 무게화되지 않은 정확도 18% 상대적 향상이 이루어졌다.
• 전화 대화 데이터셋에서 음성 및 전사 기반 시스템의 융합은 ASR로 생성된 전사 자료를 사용함에도 불구하고 단일 음성 시스템 대비 무게화되지 않은 정확도 3.4% 향상되었다.
• 세 시스템(LSTM, MCNN, e-vector)의 융합은 IEMOCAP에서 최고의 무게화되지 않은 정확도 65.9%를 기록하여 모달 간의 상보성이 확인되었다.
• 두 텍스트 기반 시스템(e-vector 및 MCNN)을 융합했을 경우 성능 향상이 관찰되지 않았으며, 이는 음성 모달이 고유하고 중복되지 않는 정보를 제공한다는 것을 시사한다.
• 검증 손실은 임베딩 품질 향상에 기여하였으며, 융합 시스템은 IEMOCAP에서 분노 및 슬픔 정서 예측에서 단일 시스템을 능가하는 성능을 보였다.