[논문 리뷰] Emotion Recognition in Speech Using Cross-Modal Transfer in the Wild

Samuel Albanie, Arsha Nagrani외 2명|arXiv (Cornell University)|2018. 08. 16.

Emotion and Mood Recognition참고 문헌 56인용 수 14

한 줄 요약

이 논문은 사전 훈련된 시각 모델에서 음성 정서 인식 모델로 얼굴 정서 인식 지식을 비라벨 영상 데이터를 사용해 다중모달 히스토그램에 전이하는 방법을 제안한다. 얼굴 표정과 음성 정서 간의 상관관계를 활용하여, 라벨이 없는 음성 데이터만을 사용해도 빌드된 음성 전용 모델이 기준 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Obtaining large, human labelled speech datasets to train models for emotion recognition is a notoriously challenging task, hindered by annotation cost and label ambiguity. In this work, we consider the task of learning embeddings for speech classification without access to any form of labelled audio. We base our approach on a simple hypothesis: that the emotional content of speech correlates with the facial expression of the speaker. By exploiting this relationship, we show that annotations of expression can be transferred from the visual domain (faces) to the speech domain (voices) through cross-modal distillation. We make the following contributions: (i) we develop a strong teacher network for facial emotion recognition that achieves the state of the art on a standard benchmark; (ii) we use the teacher to train a student, tabula rasa, to learn representations (embeddings) for speech emotion recognition without access to labelled audio data; and (iii) we show that the speech emotion embedding can be used for speech emotion recognition on external benchmark datasets. Code, models and data are available.

연구 동기 및 목표

• 실세계(인간이 직접 관찰하는) 환경에서 정제되지 않은, 비용이 많이 들고 모호한 인간 주석 기반 음성 정서 데이터셋의 부족 문제를 해결하기 위해.
• 비라벨 영상 데이터를 통해 얼굴 정서 인식 모델이 음성 정서 인식 모델 훈련을 위한 약한 감독 신호를 제공할 수 있는지 탐색하기 위해.
• 대규모 비라벨 영상 컬렉션을 활용해 고비용, 주관적, 종종 다양성이 떨어지는 라벨이 부여된 음성 데이터에 대한 의존도를 줄이기 위해.
• 지식 전이를 통해 시각 모델에서 음성 모델로 정서 표현을 전이하여 다양한 도메인에 일반화할 수 있는 방법을 개발하기 위해.
• 다중모달 전이를 통해 훈련된 음성 모델이 외부의 보존된 기준 데이터셋에서 강력한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 강력한 교사 모델이 FERPlus 기준 데이터셋에서 얼굴 정서 인식을 위해 훈련되어 최고 성능을 달성한다.
• 교사 모델이 VoxCeleb 데이터셋의 비라벨 영상 데이터에 적용되어 얼굴 정서에 대한 의사라벨을 생성한다.
• 의사라벨링된 얼굴 정서 예측 결과를 감독 신호로 사용해 학생 음성 모델(탭룰라 라사)을 지식 전이를 통해 훈련한다.
• 지식 전이 과정에서 동일한 영상 클립에 대해 학생 모델의 출력과 교사 모델의 부드러운 확률값 간의 교차 엔트로피 손실을 최소화한다.
• 학생 모델은 음성과 시각 모달 간의 중복성을 활용해 정서적 내용을 반영하는 오디오 임베딩을 학습한다.
• 최종 음성 정서 인식 모델은 라벨이 부여된 음성 데이터에 대한 추가 미세조정 없이 외부 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 표준 기준 데이터셋에서 훈련된 얼굴 정서 인식 모델이 비라벨 영상 데이터에 대해 의사라벨을 생성하여 음성 정서 인식을 감독할 수 있는가?
• RQ2 라벨이 없는 음성 데이터가 존재하는 상황에서 얼굴 표정에서 유래한 지식이 음성 정서 인식 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 시각에서 음성으로의 다중모달 전이가 강력하고 일반화 가능한 음성 정서 표현을 만들어내는가?
• RQ4 지식 전이를 통해 훈련된 학생 모델의 성능이 표준 기준 데이터셋에서 감독 기반 기준 모델과 비교해 어떻게 되는가?
• RQ5 이 방법이 새로운 데이터셋에 일반화되어 모호하거나 노이즈가 많은 정서 신호를 처리할 수 있는가?

주요 결과

• 제안된 방법은 강력한 교사 모델을 사용해 FERPlus 기준 데이터셋에서 얼굴 정서 인식 분야에서 최고 성능을 달성한다.
• 전이된 음성 모델은 RML 데이터셋의 보존된 검증 분할에서 평균 ROC AUC 0.71을 기록하여 무작위 기준보다 뚜렷하게 높은 성능을 보였다.
• 학생 모델은 외부 데이터셋으로 일반화가 잘 되었으며, RML 및 eNTERFACE 기준 데이터셋 모두에서 라벨이 부여된 음성 데이터에 대한 추가 미세조정 없이 경쟁적인 성능을 달성했다.
• 학생 모델은 听력검증(heardVal)과 청취불가검증(unheardVal) 분할에서 유사한 성능을 보였다(평균 ROC AUC 0.71 vs. 0.69), 이는 모델이 화자 신원을 단서로 사용하지 않는다는 것을 시사한다.
• 이 방법은 VoxCeleb 데이터셋에 자동으로 주석이 부여된 얼굴 정서를 포함한 새로운 데이터셋인 EmoVoxCeleb를 생성하였으며, 이를 공개적으로 배포하였다.
• 혼동 행렬 분석 결과, 학생 모델은 합리적인 성능를 보였지만 대부분의 정서 유형에서 교사 모델보다 더 많은 오류를 범하는 것으로 나타나, 다중모달 정렬 과정에서 모odal 특화된 한계가 존재함을 시사한다.