[논문 리뷰] Multi-Classifier Interactive Learning for Ambiguous Speech Emotion Recognition

Ying Zhou, Xuefeng Liang외 3명|arXiv (Cornell University)|2020. 12. 10.

Emotion and Mood Recognition참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다중 분류기 상호작용 학습(MCIL)을 제안하며, 이는 모호한 음성 정서 인식을 위한 새로운 방법이다. MCIL은 다수의 분류기가 협동하여 정서 확률 분포(모호한 레이블)를 구성하고, 상호작용 학습을 통해 반복적으로 표현을 정교화한다. MCIL은 개별 분류기의 정확도와 분류기 간 일致성을 향상시키며, MAS, IEMOCAP, FAU-AIBO에서 각각 3.1%, 2.0%, 1.58%의 절대 정확도 향상을 기록하여 최신 기술 수준을 초월한다.

ABSTRACT

In recent years, speech emotion recognition technology is of great significance in industrial applications such as call centers, social robots and health care. The combination of speech recognition and speech emotion recognition can improve the feedback efficiency and the quality of service. Thus, the speech emotion recognition has been attracted much attention in both industry and academic. Since emotions existing in an entire utterance may have varied probabilities, speech emotion is likely to be ambiguous, which poses great challenges to recognition tasks. However, previous studies commonly assigned a single-label or multi-label to each utterance in certain. Therefore, their algorithms result in low accuracies because of the inappropriate representation. Inspired by the optimally interacting theory, we address the ambiguous speech emotions by proposing a novel multi-classifier interactive learning (MCIL) method. In MCIL, multiple different classifiers first mimic several individuals, who have inconsistent cognitions of ambiguous emotions, and construct new ambiguous labels (the emotion probability distribution). Then, they are retrained with the new labels to interact with their cognitions. This procedure enables each classifier to learn better representations of ambiguous data from others, and further improves the recognition ability. The experiments on three benchmark corpora (MAS, IEMOCAP, and FAU-AIBO) demonstrate that MCIL does not only improve each classifier's performance, but also raises their recognition consistency from moderate to substantial.

연구 동기 및 목표

• 말하는 발화가 다양한 확률로 여러 정서를 수반하는 모호한 음성 정서 인식 문제를 해결하기 위해, 기존의 단일 또는 다중 레이블 방법이 효과적으로 표현하지 못하는 상황을 다루는 것.
• 정서의 모호성을 이산 레이블이 아닌 불확실성을 반영하는 확률 분포로 모델링하여 인식 성능을 향상시키는 것.
• 분류기가 상호 예측을 공유하고 서로로부터 배울 수 있도록 하여 분류기 간 일致성과 내성 강도를 향상시키는 것.
• 기존 방법이 전문가 투표 정보에 의존하는 것과 달리, 전문가 투표 정보가 없는 데이터셋에서도 적용 가능한 일반화 가능한 방법을 개발하는 것.
• 인간 인지 이론에서 영감을 얻은 최적의 상호작용 이론을 기반으로 한 상호작용 학습이 분류기 간 정확도와 일치도를 향상시키는지 검증하는 것.

제안 방법

• 다양한 분류기를 먼저 모호한 데이터로부터 정확한 레이블로 훈련시켜 初기 모델을 형성한다.
• 이 분류기들이 나머지 모호한 발화에 대해 투표하여 예측된 정서 분포의 통계를 생성한다.
• 이 투표 통계를 바탕으로 모호한 레이블을 확률 분포로 구성한다 (예: 행복, 슬픔, 분노에 대해 [0.3, 0.5, 0.2]와 같이).
• 이러한 구성된 모호한 레이블을 사용하여 분류기를 재훈련함으로써, 서로의 예측에서 배우고 불확실한 데이터의 표현을 향상시킨다.
• 재훈련 과정에서 분류기 예측 간 일치도를 측정하고 최적화하기 위해 KL 발산을 사용하여 상호작용 학습을 수학적으로 정의한다.
• 이 과정을 반복적으로 수행하여 분류기의 예측을 정교화하고, 인간 간의 상호작용을 모방하여 모호성을 해소한다.

실험 결과

연구 질문

• RQ1 다수의 분류기 간 협동 학습이 단일 또는 다중 레이블 기반 베이스라인 대비 모호한 음성 정서 인식 성능을 향상시키는가?
• RQ2 분류기 공감대를 기반으로 한 상호작용 학습이 정서 인식의 일치도와 정확도를 높이는가?
• RQ3 제안된 방법이 MAS와 같이 전문가 투표 애너테이션 정보가 없는 데이터셋에도 일반화 가능한가?
• RQ4 정확한 레이블 또는 다중 레이블 표현 대비 정서 확률 분포(모호한 레이블) 사용이 성능 및 일치도 측면에서 어떻게 비교되는가?
• RQ5 상호작용 학습이 모호한 데이터에서 분류기 간 일치도를 얼마나 향상시키는가?

주요 결과

• MAS 코퍼스에서 MCIL은 최신 기술 대비 3.1%의 절대 정확도 향상을 기록했으며, 가장 모호한 클래스인 '행복'에 대해선 42.5%의 향상률을 보였다.
• IEMOCAP에서 MCIL은 전체 정확도를 2.0% 향상시켰고, 네 가지 정서 카테고리 모두에서 두 번째로 높은 성능를 기록했으며, 중립 및 슬픔에 대해선 각각 7.0~35.0%의 향상률을 기록했다.
• FAU-AIBO에서 MCIL은 전체 정확도 65.47%를 기록해 모든 베이스라인보다 1.58%~4.16% 높았고, IDL 및 NEG 카테고리에서 둘 다 두 번째로 높은 순위를 기록했다.
• 상호작용 학습 이후 FAU-AIBO에서 Fleiss Kappa 값이 0.3554에서 0.6054로 상승하여 분류기 간 일치도가 중간에서 상당 수준으로 향상됨을 나타냈다.
• MCIL은 분류기 간 일치도를 크게 향상시켰으며, 세 코퍼스에서 Kappa 값이 각각 0.15, 0.19, 0.25 상승하여 분류기 간 일치도 향상이 뚜렷하게 나타났다.
• 개별 분류기가 일관성 없이 작동할 때조차도, MCIL은 다수결 투표 및 트라이트레이닝보다 뛰어난 성능을 보여, 높은 내성 강도를 입증했다.