[논문 리뷰] Divide-and-Conquer based Ensemble to Spot Emotions in Speech using MFCC and Random Forest

Abdul Malik Badshah|arXiv (Cornell University)|2016. 10. 05.

Emotion and Mood Recognition참고 문헌 9인용 수 9

한 줄 요약

이 논문은 MFCC 특징과 랜덤 포레스트 분류기를 사용하여 음성 정서 인식을 위한 분할 정복형 앙상블 프레임워크를 제안한다. 정서를 중립/정서적, 긍정/부정, 그리고 최종적으로 개별 정서로 계층적으로 구조화함으로써 단계적이고 작업에 특화된 예측을 통해 분류 정확도를 향상시키며, 기존 방법들과 비교하여 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Besides spoken words, speech signals also carry information about speaker gender, age, and emotional state which can be used in a variety of speech analysis applications. In this paper, a divide and conquer strategy for ensemble classification has been proposed to recognize emotions in speech. Intrinsic hierarchy in emotions has been utilized to construct an emotions tree, which assisted in breaking down the emotion recognition task into smaller sub tasks. The proposed framework generates predictions in three phases. Firstly, emotions are detected in the input speech signal by classifying it as neutral or emotional. If the speech is classified as emotional, then in the second phase, it is further classified into positive and negative classes. Finally, individual positive or negative emotions are identified based on the outcomes of the previous stages. Several experiments have been performed on a widely used benchmark dataset. The proposed method was able to achieve improved recognition rates as compared to several other approaches.

연구 동기 및 목표

• 내재된 정서 계층을 활용하여 음성 정서 인식의 정확도를 향상시키기 위해.
• 작업 분해를 통해 다중 클래스 정서 분류의 복잡성을 감소시키기 위해.
• 랜덤 포레스트 분류기를 사용하여 결정 경계를 향상시키는 단계적 앙상블 프레임워크를 설계하기 위해.
• 정서 인식을 위한 널리 사용되는 벤치마크 데이터셋에서 제안된 방법을 평가하기 위해.
• 기존의 단일 단계 분류 모델에 비해 향상된 인식률을 입증하기 위해.

제안 방법

• 프레임워크는 분류 작업을 세 단계로 나누는 정서 계층 트리를 구성한다.
• 1단계에서는 MFCC 특징과 랜덤 포레스트를 사용하여 입력 음성을 중립 또는 정서적으로 분류한다.
• 2단계에서는 정서적 음성을 긍정 또는 부정 정서 카테고리로 추가로 분류한다.
• 3단계에서는 전용 랜덤 포레스트 모델을 사용하여 긍정 또는 부정 분지 내에서 개별 정서(예: 기쁨, 분노)를 식별한다.
• MFCC는 음성 신호의 스펙트럼 특성을 나타내는 청각적 특징으로 추출된다.
• 계층적 단계 간의 예측을 통합하는 앙상블 전략을 통해 전체 분류의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 정서 계층을 기반으로 한 계층적 분할 정복 전략이 음성 정서 인식 시스템의 정확도를 향상시킬 수 있는가?
• RQ2 정서 계층을 사용한 단계적 분류는 직접적인 다중 클래스 분류에 비해 성능에 어떤 영향을 미치는가?
• RQ3 MFCC 특징과 랜덤 포레스트 분류기가 계층적 프레임워크 내에서 정서 인식 향상에 어느 정도 기여하는가?
• RQ4 제안된 앙상블 방법은 벤치마크 데이터셋에서 기존 최첨단 기법들을 초월하는가?
• RQ5 내재된 정서 구조의 활용은 복잡한 정서 분류 작업을 얼마나 효과적으로 단순화하는가?

주요 결과

• 제안된 방법은 널리 사용되는 벤치마크 데이터셋에서 여러 기준 기반 방법들보다 향상된 인식률을 달성했다.
• 중립/정서적, 긍정/부정, 개별 정서 단계로의 계층적 분해가 분류 성능을 향상시켰다.
• 입력 특징으로서의 MFCC 사용이 정서 탐지에 관련된 청각 패턴을 효과적으로 포착했다.
• 랜덤 포레스트 분류기가 앙상블 프레임워크의 각 단계에서 강력한 일반화 능력을 보였다.
• 분할 정복 전략이 다중 클래스 정서 분류의 복잡성을 감소시켜 더 정확한 예측을 이끌어냈다.
• 앙상블 접근 방식이 인식 정확도 측면에서 비계층적 및 단일 단계 분류 모델들을 모두 능가했다.