[논문 리뷰] Deep Multilayer Perceptrons for Dimensional Speech Emotion Recognition

Bagus Tris Atmaja, Masato Akagi|arXiv (Cornell University)|2020. 04. 06.

Emotion and Mood RecognitionPsychology참고 문헌 17인용 수 17

한 줄 요약

이 논문은 IEMOCAP 및 MSP-IMPROV 데이터셋에서 말 감정 인식의 차원적 접근에서 최신 기술 수준의 성능을 달성하기 위해 고수준 통계 기능(HSF)을 사용하여 입력 차원을 감소시킨 딥 다층퍼셉트론(MLP)을 제안한다. 이는 LSTM 및 CNN과 같은 더 깊은 아키텍처보다도 성능이 뛰어나며, 계산 자원 소비가 현저히 적은 편이다.

ABSTRACT

Modern deep learning architectures are ordinarily performed on high-performance computing facilities due to the large size of the input features and complexity of its model. This paper proposes traditional multilayer perceptrons (MLP) with deep layers and small input size to tackle that computation requirement limitation. The result shows that our proposed deep MLP outperformed modern deep learning architectures, i.e., LSTM and CNN, on the same number of layers and value of parameters. The deep MLP exhibited the highest performance on both speaker-dependent and speaker-independent scenarios on IEMOCAP and MSP-IMPROV corpus.

연구 동기 및 목표

• 딥 러닝의 현대적 접근 방식이 말 감정 인식에서 요구하는 높은 계산 자원을 해결하기 위해 경량 딥 MLP 아키텍처를 제안한다.
• 기존의 딥 MLP가 압축된 고수준 통계 특징을 사용할 경우, LSTM 및 CNN과 같은 현대적 아키텍처를 능가할 수 있는지 평가한다.
• 딥 MLP의 성능이 말 감정 인식의 발화자 종속 및 발화자 독립 설정 모두에서 얼마나 효과적인지 조사한다.
• 고성능의 차원적 감정 인식이 고비용 GPU 기반 하드웨어나 복잡한 모델을 필요로 하지 않는다는 것을 입증한다.
• IEMOCAP 및 MSP-IMPROV를 포함한 여러 데이터셋에 걸쳐 일반화된 결과를 도출한다.

제안 방법

• 입력 특징은 GeMAPS의 저수준 기술적 특징(LLD)에서 유도되며, 각 발화문에 대해 고수준 통계 기능(HSF)을 적용하여 차원을 3409×23에서 1×23으로 감소시킨다.
• 입력 및 출력 레이어를 제외한 다섯 개의 은닉층을 가진 딥 다층퍼셉트론(MLP)을 사용하며, 평균 제곱오차(MSE) 손실을 사용해 훈련한다.
• 모델은 연속적인 감정 차원인 정서의 정도, 각성도, 지배성의 세 가지를 예측하며, 학습을 위해 [-1, 1] 범위로 정규화된다.
• 두 가지 훈련 설정을 평가한다: 발화자 종속(80/20 분할) 및 발화자 독립(하나의 세션을 제외한 나머지로 훈련, LOSO), IEMOCAP 및 MSP-IMPROV 데이터셋을 사용한다.
• 모든 설정에서 주요 평가 지표로 공명상관계수(CCC)를 사용한다.
• IEMOCAP 및 MSP-IMPROV의 훈련, 개발, 테스트 세트를 결합하여 혼합 코퍼스 데이터셋을 생성하여 다중 데이터셋 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 소형 입력 크기를 가진 딥 MLP가 차원적 말 감정 인식에서 LSTM 및 CNN과 같은 현대적 딥 러닝 아키텍처를 능가할 수 있는가?
• RQ2 다양한 데이터셋에서 발화자 종속 및 발화자 독립 설정 간에 제안된 딥 MLP의 성능는 어떻게 비교되는가?
• RQ3 고수준 통계 기능(HSF)의 사용이 계산 복잡도를 얼마나 줄이고 정확도 유지에 얼마나 기여하는가?
• RQ4 혼합 코퍼스 평가에서 모델은 다양한 데이터셋 간에 어떻게 일반화되는가?
• RQ5 평가 지표(CCC)와 일치하는 손실 함수를 사용해 훈련하면 모델 성능이 향상되는가?

주요 결과

• 제안된 딥 MLP는 발화자 종속 및 발화자 독립 설정 모두에서 IEMOCAP 및 MSP-IMPROV 데이터셋에서 모든 감정 차원과 평균 점수에서 가장 높은 공명상관계수(CCC)를 달성했다.
• IEMOCAP에서 딥 MLP는 평균 CCC가 0.469(발화자 종속) 및 0.453(발화자 독립)였으며, LSTM(0.387 및 0.359) 및 CNN(0.307 및 0.328)을 모두 능가했다.
• MSP-IMPROV에서 딥 MLP는 평균 CCC가 0.536(발화자 종속) 및 0.407(발화자 독립)였으며, LSTM(0.515 및 0.335) 및 CNN(0.497 및 0.375)를 모두 초월했다.
• 혼합 코퍼스 평가에서 딥 MLP는 평균 CCC가 0.499(발화자 종속) 및 0.294(발화자 독립)였으며, 모든 차원에서 다시 한번 LSTM 및 CNN을 능가했다.
• IEMOCAP에서는 발화자 종속과 발화자 독립 간 성능 격차가 MSP-IMPROV보다 작았는데, 이는 파일 이름 및 세션 순서의 차이 때문일 가능성이 있다.
• CCC 손실 대신 MSE 손실을 사용했음에도 불구하고 모델의 뛰어난 성능은, CCC 기반 훈련을 통해 더 큰 성능 향상을 이룰 수 있음을 시사하며, 향후 최적화 잠재력이 매우 크다는 것을 시사한다.