[논문 리뷰] Learning Representations of Affect from Speech

Sayan Ghosh, Eugene Laksana외 2명|arXiv (Cornell University)|2015. 11. 15.

Emotion and Mood Recognition참고 문헌 18인용 수 16

한 줄 요약

이 논문은 원시 음성 스펙트로그램에서 활성도 강도와 밸런스와 같은 파라링구이스틱 정서적 특성—즉, 비언어적 정서적 특성—을 학습하기 위해 노이즈 제거 및 순환 오토인코더를 제안한다. 최고 성능을 보인 모델(128 FFT 빈, 5프레임 컨텍스트를 가진 연결된 가중치 스타킹 오토인코더)은 IEMOCAP에서 사전 분류된 감정 인식에 대해 48.10%의 가중 정확도를 기록했으며, 표준 특징 추출기보다 뛰어나고 최첨단 기법과 경쟁 가능한 성능을 보였다.

ABSTRACT

There has been a lot of prior work on representation learning for speech recognition applications, but not much emphasis has been given to an investigation of effective representations of affect from speech, where the paralinguistic elements of speech are separated out from the verbal content. In this paper, we explore denoising autoencoders for learning paralinguistic attributes i.e. categorical and dimensional affective traits from speech. We show that the representations learnt by the bottleneck layer of the autoencoder are highly discriminative of activation intensity and at separating out negative valence (sadness and anger) from positive valence (happiness). We experiment with different input speech features (such as FFT and log-mel spectrograms with temporal context windows), and different autoencoder architectures (such as stacked and deep autoencoders). We also learn utterance specific representations by a combination of denoising autoencoders and BLSTM based recurrent autoencoders. Emotion classification is performed with the learnt temporal/dynamic representations to evaluate the quality of the representations. Experiments on a well-established real-life speech dataset (IEMOCAP) show that the learnt representations are comparable to state of the art feature extractors (such as voice quality features and MFCCs) and are competitive with state-of-the-art approaches at emotion and dimensional affect recognition.

연구 동기 및 목표

• 표준 특징 추출기(예: MFCCs)를 초월하여 음성의 정서적 및 파라링구이스틱 특성에 대한 비지도 표현 학습을 탐구하기 위해.
• 오토인코더가 범주형 감정(예: 분노, 기쁨, 슬픔, 중립)과 차원형 정서(활성도, 밸런스)의 분류 가능한 표현을 학습할 수 있는지 평가하기 위해.
• 정서 표현 학습을 위한 다양한 스펙트로그램 유형(FFT, 로그멜), 시간적 컨텍스트 윈도우, 오토인코더 아키텍처(스택드, 딥, 연결/비연결 가중치)를 비교하기 위해.
• 노이즈 제거 오토인코더와 BLSTM 기반 순환 오토인코더를 조합하여 문장 수준의 정서적 표현을 학습하는 데 효과적인지 탐색하기 위해.
• IEMOCAP 데이터셋에서 말하는 사람에 관계없이 분할하는 교차 검증 프로토콜을 사용하여, 학습된 표현의 품질을 후행 감정 분류 작업을 통해 평가하기 위해.

제안 방법

• 노이즈가 추가된 음성 스펙트로그램(FFT 및 로그멜)에 대해 노이즈 제거 오토인코더를 훈련하여, 탄젠트 활성화를 가지는 순방향 신경망을 통해 낮은 차원의 뱃지 표현을 학습한다.
• 파rameter 수를 줄이고 정규화 역할을 하기 위해 연결된 가중치(W = W′^T)를 사용하며, 재구성 오차를 최소화하기 위해 역전파 알고리즘을 통해 훈련한다.
• 시퀀스 정보를 입력 스펙트로그램에 통합하기 위해 5프레임의 슬라이딩 윈도우를 사용하여 시간적 컨텍스트를 포함시킨다.
• 스택드 및 딥 오토인코더 아키텍처를 평가하였으며, 검증 세트에서 가장 우수한 구성(TIED-128-5)을 선택하였다.
• 최적의 스펙트로그램-오토인코더 구성에서의 활성화를 기반으로 BLSTM-RNN을 순환 오토인코더로 훈련하여 시퀀스 수준의 표현을 학습한다.
• BLSTM 인코더에서 추출한 문장 수준의 표현을 사용하여 다층 퍼셉트론(MLP)을 초기화하여 감정 분류를 수행한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 오토인코더는 원시 음성 스펙트로그램에서 범주형 및 차원형 정서적 특성의 분류 가능한 표현을 효과적으로 학습할 수 있는가?
• RQ2 다양한 스펙트로그램 유형(FFT 대비 로그멜)과 시간적 컨텍스트 윈도우는 학습된 정서 표현의 품질에 어떤 영향을 미치는가?
• RQ3 스택드 오토인코더에서 연결된 가중치를 사용할 경우, 연결되지 않은 가중치 대비 표현 품질이 향상되는가?
• RQ4 순환 오토인코더(특히 BLSTM-RNN)는 순방향 오토인코더보다 동적이고 문장 수준의 정서적 패턴을 더 잘 포착할 수 있는가?
• RQ5 학습된 표현은 표준 특징 추출기(예: MFCCs, 프로소딕 특징)와 비교해 후행 감정 분류 작업에서 어떤가?

주요 결과

• 검증 세트에서 가장 우수한 성능을 보인 TIED-128-5 구성(128 FFT 빈, 5프레임 컨텍스트, 연결된 가중치)이 최적 모델로 선정되었다.
• 뱃지 레이어 표현은 활성도 강도에 대해 매우 분류 가능한데, 높은 활성도 감정(분노, 흥분)과 낮은 활성도 감정(슬픔)을 효과적으로 분리하였다.
• 표현은 또한 부정적 밸런스(분노, 슬픔)와 긍정적 밸런스(기쁨)를 효과적으로 분리하여 정서의 감정 성향에 민감함을 보였다.
• 최종 MLP 분류기(사전 훈련된 오토인코더 가중치로 초기화)는 IEMOCAP 데이터셋에서 5폴드 이탈 세션 교차 검증 기반으로 48.10%의 가중 정확도를 기록하였다.
• 비사전 훈련된 MLP(46.75% 가중 정확도)와 COVAREP 기반 소프트맥스 분류기(44.67% 가중 정확도)보다 성능이 뛰어나, 비지도 사전 훈련의 가치를 입증하였다.
• BLSTM-오토인코더는 문장 수준의 표현을 효과적으로 포착하였으며, 시각화 결과 정서 상태의 의미 있는 군집화가 관찰되었다.