[논문 리뷰] Multistage linguistic conditioning of convolutional layers for speech emotion recognition

Andreas Triantafyllopoulos, Uwe D. Reichel외 4명|arXiv (Cornell University)|2021. 10. 13.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 BERT 기반 어휘 임베딩과 CNN가 처리하는 로그-멜 스펙트로그램의 여러 중간층을 통합하여 다단계 어휘 조건화 방법을 제안한다. 이는 음성 정서 인식(SER)에 적용되며, 단일 단계 융합 및 후행 융합 기준선보다 뛰어난 성능을 보이며, MSP-Podcast 및 IEMOCAP 데이터셋에서 분류적 및 차원적 SER 작업 모두에서 뛰어난 성능을 보인다. 특히 정서의 정서적 평가 및 지배성 예측에서 뛰어난 성능을 보였다.

ABSTRACT

In this contribution, we investigate the effectiveness of deep fusion of text and audio features for categorical and dimensional speech emotion recognition (SER). We propose a novel, multistage fusion method where the two information streams are integrated in several layers of a deep neural network (DNN), and contrast it with a single-stage one where the streams are merged in a single point. Both methods depend on extracting summary linguistic embeddings from a pre-trained BERT model, and conditioning one or more intermediate representations of a convolutional model operating on log-Mel spectrograms. Experiments on the MSP-Podcast and IEMOCAP datasets demonstrate that the two fusion methods clearly outperform a shallow (late) fusion baseline and their unimodal constituents, both in terms of quantitative performance and qualitative behaviour. Overall, our multistage fusion shows better quantitative performance, surpassing alternatives on most of our evaluations. This illustrates the potential of multistage fusion in better assimilating text and audio information.

연구 동기 및 목표

• 깊은 융합을 통해 어휘적 및 청각적 정보를 강하게 통합하여 음성 정서 인식(SER) 성능을 향상시키는 것.
• 다단계 융합—여러 CNN 층에 어휘 임베딩을 조건화하는 방식—이 단일 단계 또는 후행 융합보다 더 높은 성능을 내는지 조사하는 것.
• 실제 세계 데이터셋을 사용하여 분류적 및 차원적 SER 작업 모두에서 이 방법의 효과성을 평가하는 것.
• 특히 자연주의 정서 데이터셋에서 척도 극단과 데이터 불균형 문제에 기인한 모델 편향 및 오류 패턴을 분석하는 것.

제안 방법

• 각 발화에 대해 미리 훈련된 BERT 모델에서 요약 어휘 임베딩을 추출한다.
• 이러한 임베딩을 로그-멜 스펙트로그램을 학습하는 데 사용된 CNN의 여러 중간 합성곱 층에 조건화하기 위해 적용한다.
• 어휘 조건화가 CNN의 여러 단계에서 이루어지는 다단계 융합 아키텍처(MFCNN14)를 사용한다.
• 이를 단일 단계 융합 모델(SFCNN14)과 대조하며, 이는 네트워크 내 한 지점에서 융합이 이루어지는 방식이다.
• 후행 융합(LF)을 기준선으로 사용하며, 별도의 이모달 BERT 및 CNN 모델의 예측을 평균화한다.
• CCC와 MSE를 평가 지표로 사용하여 다중 정서 차원(기운, 정서적 평가, 지배성)을 동시에 훈련한다.

실험 결과

연구 질문

• RQ1 다단계 CNN 층에 대한 어휘 조건화가 단일 단계 또는 후행 융합 대비 음성 정서 인식 성능 향상에 기여하는가?
• RQ2 어휘적 및 청각적 특징의 융합이 다양한 정서 차원(기운, 정서적 평가, 지배성)에서 성능에 어떤 영향을 미치는가?
• RQ3 제안된 융합 방법이 정서 척도 극단에서의 오류 편향을 얼마나 줄이는가?
• RQ4 모델의 잔차 오류는 어떻게 행동하는가? 이들이 이방성(variance) 또는 평균으로 수렴하는 경향을 보이는가?
• RQ5 다단계 융합이 이모달 또는 浅층 융합 기준선보다 어휘적 및 청각적 정보를 더 잘 통합하는가?

주요 결과

• 다단계 융합 모델(MFCNN14)은 모든 평가 지표에서 최고 성능을 기록했으며, MSP-Podcast 데이터셋에서 기운의 CCC가 .670, 정서적 평가의 CCC가 .515, 지배성의 CCC가 .603을 기록했다.
• MFCNN14는 정서적 평가(CCC: .515 vs. .462) 및 지배성(CCC: .603 vs. .209)에서 BERT 이모달 기준선을 뚜렷이 앞서며, 깊은 융합의 이점을 입증했다.
• 단일 단계 융합 모델(SFCNN14)은 후행 융합 및 이모달 모델보다 성능 향상을 보였지만, MFCNN14에 비해 지배성 및 정서적 평가 예측에서 떨어졌다.
• 잔차 오류 분석 결과, BERT 및 CNN14를 포함한 대부분의 모델이 척도 극단에서 높은 오류를 보이며 평균으로 수렴하는 경향을 보였지만, SFCNN14는 더 균형 잡힌 잔차를 보였다.
• MFCNN14와 SFCNN14는 BERT 및 CNN14보다 편향을 줄였으며, MFCNN14는 모든 차원에서 가장 일관된 성능을 보였다.
• 다단계 접근은 정량적 결과와 더 안정적인 오류 패턴을 통해 어휘적 및 청각적 신호의 더 우수한 통합을 보여주었다.