[논문 리뷰] Emotion Classification from Noisy Speech - A Deep Learning Approach

Rajib Rana|arXiv (Cornell University)|2016. 01. 01.

Emotion and Mood Recognition참고 문헌 20인용 수 6

한 줄 요약

이 논문은 깊이 있는 신뢰망(DBN) 기반 접근법을 제안하여 소음 환경에서의 음성 정서 분류를 수행한다. 여기서는 MFCCs로부터 강건한 계층적 특징을 학습하기 위해 스택형 제한된 볼츠만 기계(RBM)를 활용한다. 이 방법은 뛰어난 소음 내성 특성을 보이며, 저변동성 소음 조건에서는 분류 정확도가 10% 미만으로 감소하고, 'washe' 소음에서는 오히려 약간 향상되며, DBN의 본질적 내성 특성을 입증한다.

ABSTRACT

This paper investigates the performance of Deep Learning for speech emotion classification when the speech is compounded with noise. It reports on the classification accuracy and concludes with the future directions for achieving greater robustness for emotion recognition from noisy speech.

연구 동기 및 목표

• 기존 연구가 주로 청소된 음성에 집중한 바 있는 실세계의 소음 환경에서 음성 정서 인식의 과제를 해결하기 위해.
• 음성 신호가 다양한 환경 소음에 의해 손상될 경우, 깊이 있는 신뢰망(DBN)의 정서 분류에 대한 내성 특성을 평가하기 위해.
• 다양한 소음 유형이 분류 성능에 미치는 영향을 조사하고, DBN이 정확도를 유지하거나 향상시키는 조건을 규명하기 위해.
• 소음 있는 음성 환경에서 성능을 향상시키기 위해 최적의 DBN 아키텍처 및 특징 선택 전략을 개발하기 위해.

제안 방법

• 본 연구는 1000, 1000, 2000개의 은닉 유닛을 각각 가지는 3층의 RBM으로 구성된 깊이 있는 신뢰망(DBN) 아키텍처를 사용하며, 대trastive divergence를 사용한 게으른 계층별 사전 훈련 방식으로 훈련한다.
• 음성 특징은 분할된 발화에서 13차원의 멜 주파수 케프스트럼 계수(MFCCs)로 추출되며, 이는 DBN의 입력으로 사용된다.
• 실세계 조건을 시뮬레이션하기 위해, DEMAND 데이터베이스에서 유래한 인공 소음(자동차, 주방, 카페터리아 소음 포함 총 18종류)이 베를린 데이터베이스의 청소된 정서 발화에 주입된다.
• 정서 분류 작업은 DBN의 최종 레이어에서 세그먼트 수준에서 수행되며, 7개 정서에 대한 다중 클래스 예측을 위해 소프트맥스 출력을 사용한다.
• 성능 평가 시에는 모든 소음 유형에 대해 청소된 음성과 소음이 있는 음성 간의 분류 정확도 변화 비율을 측정한다.
• 사전 훈련 이후 DBN은 역전파를 사용하여 최종 분류 레이어를 최적화하기 위해 파인튜닝된다.

실험 결과

연구 질문

• RQ1 환경 소음의 존재가 DBN 기반 음성 정서 분류 성능에 어떻게 영향을 미치는가?
• RQ2 어떤 소음 유형이 정서 분류 정확도의 가장 높은 감소를 초래하고, 어떤 소음 유형이 가장 낮은 감소를 초래하는가?
• RQ3 일부 소음 유형이 존재할 경우 DBN이 정확도를 유지하거나 심지어 향상시킬 수 있는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 소음의 변동성과 크기가 DBN 모델의 정서 인식에서의 내성 특성에 어떤 영향을 미치는가?
• RQ5 최적의 DBN 아키텍처 및 특징 선택 전략은 소음 있는 음성 시나리오에서 성능 향상에 어떤 영향을 미치는가?

주요 결과

• DBN 모델은 소음에 대해 뛰어난 내성 특성을 보였으며, 18종류의 소음 중 10종류에서는 분류 정확도가 10% 이하로 감소하였다. 특히 자동차 및 주방 소음처럼 낮은 크기와 낮은 변동성을 가지는 소음에서 두드러진다.
• 변동성이 더 높은 소음 유형, 예를 들어 카페터리아 및 레스토랑 소음은 더 큰 정확도 감소를 초래하였으며, 일부 경우에서는 오차가 20% 이상 증가하였다.
• 놀랍게도 '세탁기' 소음 조건에서는 정확도가 약간 향상되었으며, 이는 중간 정도의 소음이 과적합을 줄이는 정규화 역할을 할 수 있음을 시사한다.
• 대체로 대부분의 소음 조건에서 분류 정확도는 감소했지만, DBN의 성능는 상대적으로 안정되어 있었으며, 이는 소음에 대한 본질적 내성 특성을 입증한다.
• 결과적으로 소음 내성 특성은 소음의 특성에 매우 의존하며, 고변동성 소음보다 저변동성 소음이 덜 파괴적인 것으로 나타났다.
• 본 연구는 DBN이 소음이 우세하지 않은 실세계의 소음 환경에서 정서 인식에 실용적인 프레임워크가 될 수 있음을 확인한다.