[논문 리뷰] Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning

Deniz Cevher, Sebastian Zepf외 1명|arXiv (Cornell University)|2019. 09. 06.

Emotion and Mood Recognition인용 수 13

한 줄 요약

이 논문은 독일어 자동차 내 음성 상호작용에서 다중모달 정서 인식을 위한 전이학습 접근법을 제안한다. 음성, 얼굴 표정, 음성 인식 텍스트 모달리티를 결합한다. 새로운 차량 내 코퍼스(AMMER)에서 미세조정된 사전 훈련된 텍스트 모델을 사용하여, 기쁨, 번민, 불안정성에 대해 최대 76%의 마이크로-F1을 달성하며, 기존 도구보다 최대 10个百分点 높은 성능을 보이며, 특히 텍스트 기반 정서 인식에서 뛰어난 성능을 발휘한다.

ABSTRACT

The recognition of emotions by humans is a complex process which considers multiple interacting signals such as facial expressions and both prosody and semantic content of utterances. Commonly, research on automatic recognition of emotions is, with few exceptions, limited to one modality. We describe an in-car experiment for emotion recognition from speech interactions for three modalities: the audio signal of a spoken interaction, the visual signal of the driver's face, and the manually transcribed content of utterances of the driver. We use off-the-shelf tools for emotion detection in audio and face and compare that to a neural transfer learning approach for emotion recognition from text which utilizes existing resources from other domains. We see that transfer learning enables models based on out-of-domain corpora to perform well. This method contributes up to 10 percentage points in F1, with up to 76 micro-average F1 across the emotions joy, annoyance and insecurity. Our findings also indicate that off-the-shelf-tools analyzing face and audio are not ready yet for emotion detection in in-car speech interactions without further adjustments.

연구 동기 및 목표

• 음성, 얼굴 표정, 텍스트 신호를 사용하여 독일어 자동차 내 음성 상호작용을 위한 다중모달 정서 인식 시스템을 개발한다.
• 통제된 자동차 내 환경에서 얼굴 및 음성 정서 인식을 위한 기성 도구의 성능을 평가한다.
• 외부 도메인, 고품질 텍스트 코퍼스에서의 전이학습이 자원이 제한된 차량 내 환경에서 정서 인식 성능을 향상시킬 수 있는지 조사한다.
• 텍스트 기반 정서 분류에 대해 도메인 내 및 외부 데이터를 통합한 공동 훈련과 전이학습을 비교한다.
• 자동차 환경에서의 정서 인식을 위한 다중모달 융합의 실현 가능성과 성능을 평가한다.

제안 방법

• 12명의 참가자가 가상의 에이전트와 동승자와 함께 감정 있는 음성 상호작용을 수행한 드라이빙 시뮬레이터에서 다중모달 데이터셋(AMMER)을 수집했다.
• 기성 도구를 사용하여 얼굴 표정 인식(OpenCV 및 FACS 기반 추적)과 음성 정서 탐지(프로소디 및 스펙트럼 특징 기반)를 적용했다.
• 외부 도메인 코퍼스(예: ISEAR, EmoInt, TEC, Figure8)에서 사전 훈련된 모델을 AMMER 데이터셋에 미세조정하여 신경망 기반 텍스트 분류기를 구현했다.
• 전이학습을 위해 이류-아웃 교차검증을 사용하였으며, 각 모델은 외부 코퍼스에서 사전 훈련된 후 AMMER 훈련 세트에서 추가 최적화되었다.
• 전이학습 성능을 전체 외부 도메인 데이터와 AMMER를 결합한 공동 훈련 기반선과 비교하여 전이학습의 기여도를 분리했다.
• 기쁨, 번민, 불안정성이라는 세 가지 목표 정서에 대해 마이크로 평균 F1 점수를 사용하여 모델을 평가했다.

실험 결과

연구 질문

• RQ1 도메인 특화 적응 없이 자동차 내 음성 상호작용 시나리오에서 기성 도구의 얼굴 및 음성 정서 인식 성능은 어떠한가?
• RQ2 고품질 외부 도메인 텍스트 코퍼스에서의 전이학습이 자원이 제한된 자동차 내 환경에서 정서 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ3 텍스트 기반 정서 분류에 대해 전이학습이 도메인 내 및 외부 데이터를 통합한 공동 훈련을 능가하는가?
• RQ4 얼굴 표정, 음성 신호, 또는 음성 인식 텍스트 중 어느 모달리티가 독일어 자동차 상호작용에서 정서 인식에 가장 효과적인가?
• RQ5 제한된 도메인 내 데이터로도 전이학습이 복잡한 감정 상태(예: 불안정성, 번민)에 대해 강력한 정서 분류를 가능하게 하는가?

주요 결과

• 전이학습 기반 텍스트 분류기는 최대 76%의 마이크로 평균 F1 점수를 기록하여 기성 도구 및 공동 훈련 기반선을 크게 능가했다.
• 전이학습 접근법은 공동 훈련 기반선 대비 최대 13个百分点 성능 향상을 보였으며, 특히 ISEAR에서 사전 훈련된 모델에서 두드러졌다.
• 기성 도구로 구현된 얼굴 표정 인식 성능은 제한적이었으며, 기쁨만 중간 정도로 인식되었고, 번민과 불안정성은 뚜렷하게 탐지되지 않았다.
• 음성 정서 인식 도구는 부정적인 정서 상태에 강한 편향을 보였으며, 이는 개인별 특화 또는 환경 적응이 필요함을 시사한다.
• 텍스트 기반 정서 인식이 가장 효과적인 모달리티였으며, 전이학습 덕분에 제한된 도메인 내 데이터로도 높은 성능을 달성할 수 있었다.
• 결과적으로, 고품질 외부 도메인 텍스트 코퍼스에서의 전이학습은 자동차 내 상호작용과 같은 특수 도메인에서 자원이 제한된 정서 인식에 실현 가능하고 효과적인 전략임을 시사한다.