[논문 리뷰] Towards adversarial learning of speaker-invariant representation for speech emotion recognition

Ming Tu, Yun Tang외 3명|arXiv (Cornell University)|2019. 03. 22.

Emotion and Mood Recognition참고 문헌 20인용 수 17

한 줄 요약

이 논문은 음성 감정 인식(SER)을 위한 말하기자 기반 불변 표현을 학습하기 위해 도메인 적대적 훈련(DAT)과 교차 기울기 훈련(CGT)을 결합한 적대적 훈련을 제안한다. 감정 분류기와 말하기자 분류기를 기울기 반전 또는 기울기 유도 데이터 증강을 통해 함께 훈련함으로써, 모델은 말하기자 특화 요소를 분리하여 미지의 말하기자에 대한 일반화 능력을 향상시킨다. IEMOCAP에서 DAT와 CGT는 각각 기준 모델 대비 5.6%와 7.4%의 상대 정확도 향상을 달성하였으며, DAT는 목표 말하기자 데이터가 없더라도 강건한 성능을 보였다.

ABSTRACT

Speech emotion recognition (SER) has attracted great attention in recent years due to the high demand for emotionally intelligent speech interfaces. Deriving speaker-invariant representations for speech emotion recognition is crucial. In this paper, we propose to apply adversarial training to SER to learn speaker-invariant representations. Our model consists of three parts: a representation learning sub-network with time-delay neural network (TDNN) and LSTM with statistical pooling, an emotion classification network and a speaker classification network. Both the emotion and speaker classification network take the output of the representation learning network as input. Two training strategies are employed: one based on domain adversarial training (DAT) and the other one based on cross-gradient training (CGT). Besides the conventional data set, we also evaluate our proposed models on a much larger publicly available emotion data set with 250 speakers. Evaluation results show that on IEMOCAP, DAT and CGT provides 5.6% and 7.4% improvement respectively, over a baseline system without speaker-invariant representation learning on 5-fold cross validation. On the larger emotion data set, while CGT fails to yield better results than baseline, DAT can still provide 9.8% relative improvement on a standalone test set.

연구 동기 및 목표

• 말하기자 변동성이 음성 감정 인식(SER) 모델의 일반화 능력을 저해하는 문제를 해결하기 위해.
• 훈련 중에 레이블이 있든 없든 목표 말하기자 데이터가 필요 없이 말하기자 기반 불변 표현을 학습하기 위해.
• 적대적 훈련 전략인 DAT와 CGT가 SER에서 도메인 일반화에 얼마나 효과적인지 평가하기 위해.
• 소규모(IEMOCAP) 및 대규모(250명의 말하기자) 중국어 감정 데이터셋에서 DAT와 CGT의 성능을 비교하기 위해.

제안 방법

• 모델은 세 부분으로 구성된 아키텍처를 사용한다: TDNN과 LSTM을 기반으로 한 표현 학습 네트워크 및 통계 풀링을 거친 후, 별도의 감정 및 말하기자 분류 헤드가 연결된다.
• DAT의 경우, 말하기자 분류기의 출력에 기울기 반전층(GRL)을 적용하여 학습된 표현에서 말하기자 정보를 최소화하면서도 감정 분류 성능를 유지한다.
• CGT의 경우, 적대적 작업의 기울기를 활용해 도메인 유도 편향을 생성하고, 이를 데이터 증강 수단으로 활용하여 도메인 일반화 능력을 향상시킨다.
• 표현 학습 네트워크는 감정 및 말하기자 분류 목표를 동시에 최적화하며, 네스테로프 모멘텀을 사용한 확률적 경사 하강법으로 엔드 투 엔드로 훈련된다.
• 훈련 과정은 100 에포크로 구성되며, 검증 세트 성능 기반 조기 정지 전략을 적용한다.
• 기준 SER 전용 모델과 다중 작업 학습(MTL) 기준 모델을 대비로 하여, DAT와 CGT의 두 가지 훈련 전략을 비교한다.

실험 결과

연구 질문

• RQ1 목표 말하기자 데이터가 필요 없이 도메인 적대적 훈련(DAT)을 활용한 적대적 훈련이, 미지의 말하기자에 대한 음성 감정 인식 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 기울기 유도 데이터 증강을 기반으로 한 도메인 일반화 방법인 교차 기울기 훈련(CGT)이, 자원이 제한된 말하기자 환경에서 기준 모델보다 더 높은 성능을 낼 수 있는가?
• RQ3 250명의 말하기자로 구성된 대규모 데이터셋에서 훈련에 사용된 말하기자 수가 증가함에 따라 DAT와 CGT의 일반화 성능는 어떻게 비교되는가?
• RQ4 학습된 표현이 얼마나 말하기자 무관해졌는지, t-SNE 임베딩을 통해 이를 시각화할 수 있는가?

주요 결과

• IEMOCAP 데이터셋에서 DAT는 기준 SER 전용 모델 대비 테스트 정확도에서 5.6%의 상대적 향상을 기록하였고, CGT는 7.4%의 상대적 향상을 달성하였다.
• 250명의 말하기자로 구성된 더 큰 중국어 음성 감정 데이터셋에서 DAT는 독립된 테스트 세트에서 여전히 9.8%의 상대적 정확도 향상을 기록하여, 미지의 말하기자에 대한 강건성을 입증하였다.
• CGT는 IEMOCAP에서 기준 모델을 초월하는 성능을 보였지만, 더 큰 데이터셋에서는 성능 향상이 이루어지지 않아, 훈련 데이터가 이미 많은 말하기자 변동성을 포함하고 있을 경우 그 효과가 감소함을 시사한다.
• t-SNE 시각화 결과, DAT는 학습된 임베딩에서 말하기자 특화 정보를 성공적으로 제거하여 더 말하기자 무관한 표현을 생성함을 확인하였다.
• DAT 하에서는 검증 세트와 테스트 세트 간 성능 격차가 최소화되어, 미지의 말하기자에 대한 강력한 일반화 능력을 보였다.
• 감정 및 말하기자 분류를 함께 훈련하는 다중 작업 학습(MTL)은 일관된 성능 향상을 보이지 않아, 적대적 정규화 없이 공동 훈련을 수행할 경우 적대적 적응보다 성능이 열 劣함을 시사한다.