[논문 리뷰] Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data

Chan Woo Lee, Kyu Ye Song외 2명|arXiv (Cornell University)|2018. 05. 17.

Emotion and Mood Recognition참고 문헌 12인용 수 17

한 줄 요약

이 논문은 음성과 텍스트 데이터를 사용하여 다중모odal 정서 인식을 위한 컨볼루션형 어텐션 네트워크를 제안한다. 어텐션 기반 기법을 활용해 다양한 모odal 간에 관련 있는 특징을 동적으로 가중치를 부여한다. CMU-MOSEI 데이터셋에서 평가한 결과, 단순한 특징 결합 기반의 베이스라인에 비해 교차 모달 간 의존성을 효과적으로 포착하여 정서 인식 작업에서 분류 정확도가 향상됨을 보여준다.

ABSTRACT

Emotion recognition has become a popular topic of interest, especially in the field of human computer interaction. Previous works involve unimodal analysis of emotion, while recent efforts focus on multi-modal emotion recognition from vision and speech. In this paper, we propose a new method of learning about the hidden representations between just speech and text data using convolutional attention networks. Compared to the shallow model which employs simple concatenation of feature vectors, the proposed attention model performs much better in classifying emotion from speech and text data contained in the CMU-MOSEI dataset.

연구 동기 및 목표

• 단일 모달 정서 인식의 한계를 해결하기 위해 음성과 텍스트 모달을 통합하여 성능 향상을 도모하고자 한다.
• 음성과 텍스트 특징 간의 복잡한 비선형 상호작용을 포착할 수 있는 딥 러닝 모델을 개발하고자 한다.
• 다중모달 입력에서 동적 어텐션 가중치를 가진 표현을 학습하여 정서 분류 정확도를 향상시키고자 한다.
• 감정 컴퓨팅 분야에서 교차 모달 의존성을 모델링하는 데에 컨볼루션형 어텐션 기반 기법의 효과성을 입증하고자 한다.

제안 방법

• 모델은 원시 음성 및 텍스트 입력으로부터 계층적인 시간적 특징을 추출하기 위해 컨볼루션 신경망(CNNs)을 활용한다.
• 어텐션 기반 기법을 적용하여 각 모달에 특화된 중요도 가중치를 학습시켜 네트워크가 각 모달의 주요 특징에 집중할 수 있도록 한다.
• 어텐션 모듈의 출력은 연결되어 최종 분류기로 전달되어 정서 예측을 수행한다.
• 모델는 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 엔드 투 엔드로 훈련된다.
• 1D 컨볼루션을 사용하여 양 모달의 시간적 특징 시퀀스를 처리함으로써 순차적 데이터를 다룰 수 있도록 설계되었다.
• 어텐션 기반 기법은 특징 맵에 대해 소프트 어텐션 가중치를 계산하여 음성과 텍스트 표현의 동적 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 컨볼루션형 어텐션 네트워크는 음성과 텍스트로부터 정서 인식을 위한 효과적인 교차 모달 표현을 학습할 수 있는가?
• RQ2 제안된 어텐션 기반 융합 방식은 단순한 단일 모달 특징 결합 방식에 비해 분류 정확도에서 어떤 차이를 보이는가?
• RQ3 어떤 정도로 어텐션 기반 기법이 다중모달 입력에서 관련 있는 정서적 신호에 집중하는 능력을 향상시키는가?
• RQ4 제안된 방법은 CMU-MOSEI와 같은 실제 다중모달 정서 인식 데이터셋에 잘 일반화되는가?

주요 결과

• 제안된 컨볼루션형 어텐션 네트워크는 단순한 특징 결합 기반의 얕은 베이스라인에 비해 뛰어난 성능을 기록한다.
• 어텐션 기반 기법은 음성과 텍스트에서 더 정보가 풍부한 특징을 동적으로 강조함으로써 의사결정 경계를 향상시킨다.
• CMU-MOSEI 데이터셋에서의 분류 정확도가 향상되어 효과적인 교차 모달 표현 학습이 이루어졌음을 시사한다.
• 결과적으로 어텐션 기반 기법은 음성과 텍스트 정서적 신호 간의 복잡한 의존성을 효과적으로 모델링할 수 있음을 보여준다.