[논문 리뷰] Multi-Task Semi-Supervised Adversarial Autoencoding for Speech Emotion Recognition

Siddique Latif, Rajib Rana외 4명|arXiv (Cornell University)|2019. 07. 13.

Speech and Audio Processing인용 수 8

한 줄 요약

이 논문은 보조 작업(성별 및 화자 식별)에서 유용한 대규모 비라벨 데이터를 활용하여 음성 정서 인식(SER) 성능을 향상시키는 다중 작업 준지도 학습 적대적 오토인코더 프레임워크를 제안한다. 제한된 라벨된 정서 데이터와 방대한 비라벨 데이터를 함께 학습함으로써 적대적 오토인코딩과 손실 가중 다중 작업 최적화를 통해, IEMOCAP 및 MSP-IMPROV 데이터셋에서 분류 기반 및 차원 기반 정서 분류 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Inspite the emerging importance of Speech Emotion Recognition (SER), the state-of-the-art accuracy is quite low and needs improvement to make commercial applications of SER viable. A key underlying reason for the low accuracy is the scarcity of emotion datasets, which is a challenge for developing any robust machine learning model in general. In this paper, we propose a solution to this problem: a multi-task learning framework that uses auxiliary tasks for which data is abundantly available. We show that utilisation of this additional data can improve the primary task of SER for which only limited labelled data is available. In particular, we use gender identifications and speaker recognition as auxiliary tasks, which allow the use of very large datasets, e.g., speaker classification datasets. To maximise the benefit of multi-task learning, we further use an adversarial autoencoder (AAE) within our framework, which has a strong capability to learn powerful and discriminative features. Furthermore, the unsupervised AAE in combination with the supervised classification networks enables semi-supervised learning which incorporates a discriminative component in the AAE unsupervised training pipeline. This semi-supervised learning essentially helps to improve generalisation of our framework and thus leads to improvements in SER performance. The proposed model is rigorously evaluated for categorical and dimensional emotion, and cross-corpus scenarios. Experimental results demonstrate that the proposed model achieves state-of-the-art performance on two publicly available datasets.

연구 동기 및 목표

• 제한된 라벨된 음성 정서 데이터셋으로 인해 강력한 SER 모델 개발이 어려운 핵심 과제를 해결하기 위해.
• 관련 보조 작업에서 유용한 방대한 비라벨 데이터를 활용하여 음성 정서 인식의 일반화 능력과 성능을 향상시키기 위해.
• 준지도 학습 표현 학습을 위한 적대적 오토인코딩과 다중 작업 학습을 통합하기 위해.
• 보조 작업의 손실 가중치 및 기여도가 주 정서 인식 성능에 미치는 영향을 조사하기 위해.
• 교차 코퍼스 설정에서 분류 기반 및 차원 기반 정서 분류 모두에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 프레임워크는 음성 정서 인식을 주 작업으로, 성별 및 화자 식별을 보조 작업으로 설정한 다중 작업 학습 설정을 사용한다.
• 적대적 오토인코더(AAE)는 비지도 방식으로 강력하고 분리된, 그리고 구분 가능한 음성 표현을 학습하는 데 사용된다.
• AAE는 주 작업 및 보조 작업을 위한 지도 학습 분류 헤드와 결합되어 비라벨 데이터를 활용하는 준지도 학습을 가능하게 한다.
• 손실 함수는 초수치 α(비지도 작업) 및 β(지도 학습 주 및 보조 작업)를 사용하여 가중치를 부여하여 각 구성 요소의 기여도를 제어할 수 있다.
• 재구성 손실, 적대적 손실 및 분류 손실을 균형 잡는 통합 목표 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 프레임워크는 분류 기반 정서, 밀도, 활성도 분류를 위한 IEMOCAP 및 MSP-IMPROV 데이터셋에서 평가된다.

Figure 1 : Illustration of our proposed multitask framework using a semi-supervised adversarial autoencoder (AAE).

실험 결과

연구 질문

• RQ1 보조 작업(성별 및 화자 식별)에서 대규모 비라벨 데이터를 사용하면 자원이 제한된 음성 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 적대적 오토인코딩의 통합이 다중 작업 준지도 학습 SER 프레임워크에서 표현 학습을 어떻게 향상시키는가?
• RQ3 SER 정확도를 최대화하기 위해 비지도 손실과 지도 학습 손실 간의 최적 균형(α 및 β로 제어)은 무엇인가?
• RQ4 여러 보조 작업을 동시에 통합하면 개별적으로 사용할 때보다 성능 향상이 이루어지는가?
• RQ5 제안된 모델은 분류 기반과 차원 기반 정서 분류 패러다임, 그리고 교차 코퍼스 시나리오에서 어떻게 일반화되는가?

주요 결과

• 제안된 모델은 IEMOCAP 및 MSP-IMPROV 데이터셋에서 분류 기반, 밀도 및 활성도 정서 분류 모두에서 최신 기술 수준의 성능를 달성한다.
• 라벨된 정서 데이터는 제한되어 있으나, 대규모 비라벨 데이터를 활용한 보조 작업을 통해 모델은 상당한 성능 향상을 보인다.
• 비지도 손실 가중치 α의 최적 범위는 0.4–0.6이며, 이 범위를 벗어나면 성능이 저하된다.
• 지도 학습 작업 가중치 β의 최적 범위는 0.4–0.7이며, 매우 높거나 매우 낮은 값은 정확도를 떨어뜨린다.
• 성별 및 화자 식별을 모두 보조 작업으로 통합할 경우, 개별적으로 사용할 때보다 더 높은 성능를 기록한다.
• 프레임워크는 교차 코퍼스 평가 시나리오에서 강력한 일반화 능력을 보이며, 도메인 이동에 대한 내구성을 입증한다.

Figure 2 : Three clusters of the MSP-IMPROV data in the valence-activation space.