[논문 리뷰] Fusing ASR Outputs in Joint Training for Speech Emotion Recognition

Yuanchao Li, Peter Bell외 1명|arXiv (Cornell University)|2021. 10. 29.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 Wav2vec 2.0의 은닉 표현과 텍스트 출력을 계층적 공주의 기반으로 융합하는 공동 ASR-SER 학습 프레임워크를 제안하며, IEMOCAP에서 63.4%의 가중 정확도를 달성하여 참조 텍스트를 사용한 60.0% 기준선에 거의 근접한다. 이는 번역 오류가 존재하는 다수 수준의 ASR 특징을 활용하여 SER의 강인성을 향상시킨다.

ABSTRACT

Alongside acoustic information, linguistic features based on speech transcripts have been proven useful in Speech Emotion Recognition (SER). However, due to the scarcity of emotion labelled data and the difficulty of recognizing emotional speech, it is hard to obtain reliable linguistic features and models in this research area. In this paper, we propose to fuse Automatic Speech Recognition (ASR) outputs into the pipeline for joint training SER. The relationship between ASR and SER is understudied, and it is unclear what and how ASR features benefit SER. By examining various ASR outputs and fusion methods, our experiments show that in joint ASR-SER training, incorporating both ASR hidden and text output using a hierarchical co-attention fusion approach improves the SER performance the most. On the IEMOCAP corpus, our approach achieves 63.4% weighted accuracy, which is close to the baseline results achieved by combining ground-truth transcripts. In addition, we also present novel word error rate analysis on IEMOCAP and layer-difference analysis of the Wav2vec 2.0 model to better understand the relationship between ASR and SER.

연구 동기 및 목표

• 공동 학습 환경에서 자동 음성 인식(ASR) 출력이 음성 감정 인식(SER) 성능을 향상시키는 방식을 조사하기 위해.
• 다양한 ASR 출력—은닉 상태와 텍스트 출력—이 SER 성능에 미치는 영향을 분석하기 위해.
• 감정 언어에서 ASR가 실패하는 이유를 분석하기 위해 단어 오류율(WER)이 감정 유형 간으로 어떻게 변동하는지 이해하기 위해.
• ASR 오류 영향을 완화하는 최적의 융합 전략을 규명하기 위해.
• Wav2vec 2.0의 중간층이 SER에 대한 교차 작업 전이에 기여하는 방식을 이해하기 위해.

제안 방법

• IEMOCAP 코퍼스에서 Wav2vec 2.0-base-960h 모델을 공동 ASR 및 SER 학습을 위해 미세조정한다.
• 4종류의 ASR 출력을 추출하고 활용한다: 첫 번째, 중간, 마지막 레이어의 은닉 상태와 디코더의 텍스트 출력.
• 음성 특징과 ASR 출력 간의 다중 모odal 관계를 모델링하는 계층적 공주의 융합 기법을 구현한다.
• 융합 전략을 비교한다: 연결(concatenation), 요소별 덧셈(element-wise addition), 공주(co-attention)이며, 공주가 가장 뛰어난 성능을 보였다.
• 5겹 교차 검증을 사용하고, 주요 평가 지표로는 가중 정확도(WA)를 사용한다.
• 감정 유형별로 WER 분석과 Wav2vec 2.0 표현의 계층별 분석을 수행하여 모odal 특화 특징의 관련성을 연구한다.

실험 결과

연구 질문

• RQ1 ASR 출력의 포함이 공동 학습 환경에서 SER 성능을 어떻게 향상시키는가?
• RQ2 은닉 상태와 텍스트 출력 중 어떤 ASR 출력이 SER에 더 효과적으로 기여하는가, 그리고 그 이유는 무엇인가?
• RQ3 감정 언어에서 단어 오류율(WER)은 다양한 감정 유형 간으로 어떻게 변동하는가, 그리고 역설적인 패턴은 무엇을 설명하는가?
• RQ4 ASR와 음성 특징을 융합하는 데 있어 최적의 융합 전략은 무엇이며, 어떻게 ASR 오류를 완화하는가?
• RQ5 Wav2vec 2.0 모델의 어떤 레이어가 SER에 가장 유용한 표현을 제공하는가, 그리고 이들은 모달 감도에서 어떻게 다를까?

주요 결과

• 제안된 계층적 공주의 융합 기법은 ASR 은닉 상태와 텍스트 출력을 융합하여 IEMOCAP에서 63.4%의 가중 정확도를 달성하였으며, 참조 텍스트를 사용한 60.0% 기준선에 거의 근접하였다.
• Wav2vec 2.0의 중간 레이어 은닉 상태는 테스트된 세 레이어 중에서 가장 높은 SER 성능을 보였으며, 46.1% WA를 기록했고, 마지막 레이어 출력은 42.0% WA로 떨어졌다.
• ASR 디코더에서 유도된 텍스트 출력이 모든 은닉 상태 표현보다 뛰어난 성능을 보였으며, 이는 이전 가정과는 정반대되는 결과였다.
• WER는 '행복(happy)'과 '중립(-neutral)' 감정에서 가장 높았는데, '중립'은 더 쉽다고 기대되었음에도 불구하고, 이는 프로소디의 변동성과 짧은 발화 영향을 반영한다.
• 10단어 미만의 짧은 발화는 유의미하게 더 높은 WER를 보였으며, 이는 이전 가정과 정면으로 배치되며 더 긴 발화가 더 오류가 많다는 인식을 도전한다.
• 공주의 융합 전략은 연결 및 요소별 덧셈보다 뛰어난 성능을 보였으며, 특히 참조 텍스트를 사용할 경우 두드러졌다. 이는 주의 메커니즘이 관련된 다중 모달 종속성을 효과적으로 모델링함을 시사한다.