[논문 리뷰] Capturing Spectral and Long-term Contextual Information for Speech Emotion Recognition Using Deep Learning Techniques

Samiul Islam, Md. Maksudul Haque외 1명|arXiv (Cornell University)|2023. 08. 04.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 문맥적 정보를 처리하는 그래프 컬러지언 네트워크(GCN)와 음성 신호 분석을 위한 HuBERT 트랜스포머를 조합한 앙상블 딥 러닝 모델을 제안한다. 이를 통해 음성 정서 인식 성능을 향상시킨다. GCN은 텍스트 내 장기적인 의미 관계를 포착할 수 있고, HuBERT는 음성 신호의 시간적 동적 특성을 모델링하는 자기주의 주의 메커니즘을 활용함으로써, 기존의 LSTM 및 CNN과 같은 전통적 방법에 비해 뛰어난 성능을 보이며 정서 인식 작업에서 정확도 향상을 입증한다.

ABSTRACT

Traditional approaches in speech emotion recognition, such as LSTM, CNN, RNN, SVM, and MLP, have limitations such as difficulty capturing long-term dependencies in sequential data, capturing the temporal dynamics, and struggling to capture complex patterns and relationships in multimodal data. This research addresses these shortcomings by proposing an ensemble model that combines Graph Convolutional Networks (GCN) for processing textual data and the HuBERT transformer for analyzing audio signals. We found that GCNs excel at capturing Long-term contextual dependencies and relationships within textual data by leveraging graph-based representations of text and thus detecting the contextual meaning and semantic relationships between words. On the other hand, HuBERT utilizes self-attention mechanisms to capture long-range dependencies, enabling the modeling of temporal dynamics present in speech and capturing subtle nuances and variations that contribute to emotion recognition. By combining GCN and HuBERT, our ensemble model can leverage the strengths of both approaches. This allows for the simultaneous analysis of multimodal data, and the fusion of these modalities enables the extraction of complementary information, enhancing the discriminative power of the emotion recognition system. The results indicate that the combined model can overcome the limitations of traditional methods, leading to enhanced accuracy in recognizing emotions from speech.

연구 동기 및 목표

• 음성 정서 인식에서 장기적 의존성과 복잡한 시간적 동적 특성을 포착하지 못하는 기존 모델들인 LSTM, CNN, SVM의 한계를 해결하기 위해.
• 텍스트 및 음성의 다중모odal 데이터를 보완적인 딥 러닝 아키텍처를 통해 통합함으로써 정서 인식 성능을 향상시키기 위해.
• GCN를 통해 그래프 기반 표현을 활용해 음성 텍스트 내 의미 관계를 모델링함으로써 의미적 관계를 향상시키기 위해.
• HuBERT의 자기주의 주의 메커니즘을 활용해 음성 신호의 장거리 시간적 의존성을 포착함으로써 정서 관련 특징 추출을 최적화하기 위해.
• 텍스트 및 음성 표현을 융합하여 더 높은 분류 성능을 내는 다중모달 정서 분류를 위한 앙상블 모델을 개발하기 위해.

제안 방법

• 텍스트 시퀀스의 그래프 표현을 구성함으로써 단어 수준의 의미 관계를 모델링하기 위해 그래프 컬러지언 네트워크(GCN)를 활용한다.
• 자기지도 학습 기반의 트랜스포머 모델인 HuBERT를 사용하여 원시 음성 신호에서 깊이 있는 맥락적 표현을 추출한다.
• GCN(텍스트) 및 HuBERT(음성)의 고수준 표현을 조기에 또는 늦게 융합하는 전략을 통해 다중모달 정보를 통합한다.
• 정서 분류 정확도 최적화를 위해 음성 정서 인식 데이터셋에서 엔드 투 엔드로 앙상블 모델을 훈련시킨다.
• HuBERT의 주의 메커니즘을 적용하여 음성의 관련 시간 세그먼트를 동적으로 가중함으로써 정서 관련 특징 추출을 위한 정교한 처리를 수행한다.
• 그래프 기반 인코딩을 활용하여 텍스트 시퀀스 내 장거리 의존성을 유지함으로써 정서적 내용의 맥락 이해를 향상시킨다.

실험 결과

연구 질문

• RQ1 GCN는 정서 인식을 위한 음성의 텍스트 구성요소 내 장기적 맥락 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 HuBERT의 자기주의 주의 메커니즘은 정서를 나타내는 데 기여하는 미세한 시간적 동적 특성과 스펙트럼 변동을 포착할 수 있는가?
• RQ3 GCN와 HuBERT 표현의 융합은 개별 모델 대비 정서 인식 정확도 향상에 뚜렷한 기여를 하는가?
• RQ4 GCN의 의미 관계 모델링 능력과 HuBERT의 시간적 동적 특성 모델링 능력 간의 보완적 강점이 다중모달 정서 인식을 어떻게 향상시키는가?
• RQ5 기존의 딥 러닝 모델인 LSTM 및 CNN이 복잡한 정서 패턴을 포착하는 데 비해, 앙상블 모델이 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 제안된 GCN-HuBERT 앙상블 모델은 기존의 LSTM, CNN, SVM과 같은 전통적 모델에 비해 음성 정서 인식 정확도가 높다.
• GCN는 그래프 구조를 통한 단어 상호작용 모델링을 통해 텍스트 데이터 내 장기적인 의미적 관계와 맥락 의존성을 효과적으로 포착한다.
• HuBERT의 자기주의 주의 메커니즘이 음성 신호 내 장거리 시간적 의존성을 성공적으로 모델링하여 미세한 정서적 신호를 탐지할 수 있다.
• 텍스트 및 음성 표현의 융합을 통해 앙상블 접근법이 시스템의 분류 능력을 향상시키며, 분류 성능 향상에 기여한다.
• 모델은 음성의 스펙트럼 특징과 텍스트의 맥락적 의미를 모두 효과적으로 포착하여 더 종합적인 정서 표현을 가능하게 한다.
• 결과는 GCN와 HuBERT를 융합함으로써 두 아키텍처의 강점을 극대화하고, 개별 모델이 순차적 및 다중모달 데이터 처리에서 겪는 한계를 극복할 수 있음을 확인한다.