[논문 리뷰] An Ensemble Framework of Voice-Based Emotion Recognition System for Films and TV Programs

Fei Tao, Gang Liu외 1명|arXiv (Cornell University)|2018. 03. 03.

Music and Audio Processing참고 문헌 21인용 수 3

한 줄 요약

이 논문은 실생활 영화 및 텔레비전 음성에서 음성 기반 정서 인식을 위한 앙상블 딥러닝 프레임워크를 제안한다. 수작업 특징, iVector, 어휘 정보, 그리고 다중 작업 학습을 통한 주의 기반 RNN을 융합하여 성별 및 화자 분류를 보조 작업으로 활용한다. 이 시스템은 최상의 베이스라인 대비 29.5% 상대적 향상(절대값 7.8 포인트)을 기록하였으며, 잡음이 많고 음성 요소가 적으며 길이가 다양한 음성 환경에서도 뛰어난 내성성을 입증하였다.

ABSTRACT

Employing voice-based emotion recognition function in artificial intelligence (AI) product will improve the user experience. Most of researches that have been done only focus on the speech collected under controlled conditions. The scenarios evaluated in these research were well controlled. The conventional approach may fail when background noise or nonspeech filler exist. In this paper, we propose an ensemble framework combining several aspects of features from audio. The framework incorporates gender and speaker information relying on multi-task learning. Therefore it is able to dig and capture emotional information as much as possible. This framework is evaluated on multimodal emotion challenge (MEC) 2017 corpus which is close to real world. The proposed framework outperformed the best baseline system by 29.5% (relative improvement).

연구 동기 및 목표

• 배경 잡음, 비음성 요소, 길이가 다양한 실생활 음성 조건에서도 잘 작동하는 내성적인 음성 기반 정서 인식 시스템을 개발하는 것.
• 통제된 스튜디오 데이터에 의존하는 이전 연구의 한계를 보완하기 위해, 실제 음성 도전 과제를 포함한 영화 및 텔레비전 프로그램 클립으로 구성된 MEC 2017 코퍼스를 대상으로 평가하는 것.
• 수작업된 운율 특징(IS10), iVector 표현, 음성 인식(ASR)에서 유도된 어휘 내용, 그리고 주의 기반 RNN을 통한 딥 네트워크 표현을 통합하여 정서 인식 성능을 향상시키는 것.
• 성별 및 화자 분류를 보조 작업으로 활용하여 주 정서 인식 작업을 향상시키는 다중 작업 학습을 적용하며, 실무에서 쉽게 확보 가능한 레이블을 활용하는 것.
• 서로 다른 강점을 지닌 다수의 하위 시스템을 융합하여 전체 정확도와 내성성을 향상시키는 앙상블 프레임워크를 설계하는 것.

제안 방법

• 프레임워크는 네 개의 하위 시스템으로 구성된 앙상블을 활용한다: IS10 특징을 사용한 다중 작업 DNN, iVector 특징을 사용한 다중 작업 DNN, ASR 전사문을 기반으로 한 어휘 SVM, 그리고 주의 기반 가중치 풀링 RNN.
• DNN 및 RNN 하위 시스템에 다중 작업 학습을 적용하며, 정서 분류가 주 작업이고 성별 및 화자 분류가 보조 작업이다. 각 보조 작업의 태스크 가중치는 각각 0.6과 0.3이다.
• RNN의 주의 메커니즘은 학습된 가중치 벡터를 사용하여 맥락 인식 풀링을 계산한다: $ A_T = \frac{\exp(W \cdot h_T)}{\sum_{t=1}^{n} \exp(W \cdot h_T)} $, 이는 모델이 중요하게 작용하는 시간적 세그먼트에 집중할 수 있도록 한다.
• 특징 정규화를 적용한다: IS10 특징은 훈련 세트 통계를 기반으로 z-정규화되며, 순차적 특징은 각 발화 내에서 정규화된다.
• 앙상블 융합은 검증 데이터를 기반으로 최적화된 매크로 F-스코어를 위해 선형 조합 가중치를 사용하여 하위 시스템 예측을 융합한다.
• DNN는 SGD, RNN는 Adam을 사용하여 훈련하며, 배치 크기는 32이며 훈련 데이터의 10%는 검증용으로 확보된다.

실험 결과

연구 질문

• RQ1 다양한 음성 특징(운율, iVector, 어휘, 딥 표현)을 융합한 앙상블 프레임워크가 실생활 정서 인식에서 단일 모델 베이스라인을 능가할 수 있는가?
• RQ2 성별 및 화자 분류를 보조 작업으로 활용한 다중 작업 학습이 자원이 제한되고 잡음이 많으며 비음성 요소가 많은 음성 환경에서 정서 인식 성능 향상에 얼마나 효과적인가?
• RQ3 비음성 음성 표현(예: 탄식, 웃음)이 정서 인식에 얼마나 기여하는가? 그리고 제안된 프레임워크에서 이러한 요소를 효과적으로 모델링할 수 있는가?
• RQ4 가중치 풀링을 적용한 주의 기반 RNN은 표준 RNN이나 DNN에 비해 길이가 다양하는 발화에서 성능 향상에 기여하는가?
• RQ5 서로 다른 강점을 지닌 다수의 하위 시스템을 융합함으로써 MEC 2017 코퍼스에서 전체 정서 인식 정확도와 내성성이 얼마나 향상되는가?

주요 결과

• 제안된 앙상블 프레임워크는 매크로 F-스코어(MAF) 34.2%를 기록하여 최상의 베이스라인 시스템(DNN 단일 작업) 대비 절대값 7.8 포인트 향상(상대적 향상 29.5%)을 달성하였다.
• IS10 특징을 사용한 다중 작업 DNN는 MAF 32.4%를 기록하여 단일 작업 DNN 베이스라인(26.4%) 대비 6 포인트 향상하여 보조 작업의 유용성을 입증하였다.
• 주의 기반 RNN 하위 시스템은 MAF 23.2%를 기록하였으며, 이는 베이스라인 DNN보다 낮은 성능이었다. 이는 효과적인 RNN 훈련을 위해 충분한 훈련 데이터(4.5시간)가 부족했기 때문일 가능성이 높다.
• 어휘 SVM 하위 시스템은 성능이 열악하여(MAF 17.7%) ASR에서 유도된 텍스트 특징이 이 맥락에서는 신뢰할 수 없음을 시사한다. 이는 전사 오류 때문일 수 있다.
• iVector 특징을 사용한 다중 작업 DNN는 MAF 27.4%를 기록하여 iVector 표현도 정서 인식에 효과적임을 보였지만, IS10 특징보다는 성능이 떨어졌다.
• 앙상블 융합 전략은 하위 시스템의 상호보완적 강점을 성공적으로 융합하여, 실생활 음성에서 다양한 특징 유형과 모델링 접근 방식이 전체 성능 향상에 기여함을 확인하였다.