[논문 리뷰] Detecting User Engagement in Everyday Conversations

Chen Yu, Paul M. Aoki외 1명|ArXiv.org|2004. 10. 13.

Emotion and Mood Recognition참고 문헌 7인용 수 30

한 줄 요약

이 논문은 연속된 음성에서 대화 참여도를 추정하기 위해 지지 벡터 기반 기계학습(SVM)을 사용한 정서 분류와 결합된 은닉 마르코프 모델(CHMM)을 조합한 다수준 기계학습 프레임워크를 제안한다. 참가자 간의 시간적 동적 변화와 상호 영향을 모델링함으로써, 이 방법은 고립된 발화에 대한 기준 SVM보다 유의하게 높은 63%의 정확도를 기록하며 참여도 탐지 성능을 향상시켰다. 이는 음성 통신 시스템에서 실시간 사용자 참여도 추정에 음성 특성, 시간적 동적 특성, 상호작용적 신호를 통합하는 데서의 가치를 입증한다.

ABSTRACT

This paper presents a novel application of speech emotion recognition: estimation of the level of conversational engagement between users of a voice communication system. We begin by using machine learning techniques, such as the support vector machine (SVM), to classify users' emotions as expressed in individual utterances. However, this alone fails to model the temporal and interactive aspects of conversational engagement. We therefore propose the use of a multilevel structure based on coupled hidden Markov models (HMM) to estimate engagement levels in continuous natural speech. The first level is comprised of SVM-based classifiers that recognize emotional states, which could be (e.g.) discrete emotion types or arousal/valence levels. A high-level HMM then uses these emotional states as input, estimating users' engagement in conversation by decoding the internal states of the HMM. We report experimental results obtained by applying our algorithms to the LDC Emotional Prosody and CallFriend speech corpora.

연구 동기 및 목표

• 실시간 음성 통신 환경에서 대화 참여도를 추정하는 시스템을 개발하는 것.
• 이전의 정서 인식 방법이 고립된 발화만을 분석하는 데서 비롯된 한계를 해결하기 위해 참여도를 동적이고 지속적인 과정으로 모델링하는 것.
• 시간적 연속성, 개인의 정서 상태, 참가자 간 영향을 통합된 프레임워크에 통합하여 참여도 추정 성능을 향상시키는 것.
• 실제 전화 통화에서의 자연스러운, 참가자 독립적인 음성 데이터에서 방법을 평가함으로써 실용적 관련성을 확보하는 것.

제안 방법

• 첫 번째 단계에서 SVM 분류기가 음성 특성(예: 음성 특성)을 정서 상태(예: 이산 정서 또는 각성/만족 수준)로 매핑한다.
• 고수준의 은닉 마르코프 모델(HMM)이 예측된 정서 상태를 처리하여 사용자 참여도 수준의 시간적 변화를 연속적이고 동적인 과정으로 모델링한다.
• 결합된 마르코프 모델(CHMM)을 사용하여 두 대화 참가자의 참여도 상태를 함께 모델링함으로써 상호 영향과 상호작용의 역학을 포착한다.
• 낮은 수준의 음성 특성, 정서 상태의 시간적 진행, 개인 간 상호작용 효과를 하나의 확률적 추론 메커니즘에 통합한다.
• 시스템은 LDC 정서 음성(연기된 음성)과 CallFriend(자연스럽고 실제 전화 통화에서의 음성)이라는 두 개의 코퍼스에서 훈련 및 평가되며, 참가자 의존 및 참가자 독립 설정 모두에서 평가된다.
• 성능 평가는 1~5의 참여도 척도에서 분류 정확도로 평가되며, 무작위 기준은 20%이다.

실험 결과

연구 질문

• RQ1 음성 특성만으로도 연속적이고 자연스러운 음성에서 대화 참여도를 신뢰성 있게 추정할 수 있는가?
• RQ2 고립된 발화를 분류하는 것과 비교해 참여도의 시간적 동적 특성을 모델링할 경우 정확도가 어떻게 향상되는가?
• RQ3 대화 참가자 간의 상호 영향을 통합할 경우 참여도 추정 성능에 어느 정도 기여하는가?
• RQ4 연기된 음성과 자연스러운 음성, 참가자 의존 및 참가자 독립 설정 간 성능 지표는 어떻게 달라지는가?
• RQ5 SVM과 HMM을 조합한 다수준 아키텍처가 음성 특성, 시간적 특성, 상호작용 신호를 효과적으로 통합하여 참여도 추정에 기여할 수 있는가?

주요 결과

• 단지 음성 특성만을 사용한 기준 SVM 분류기는 참여도 탐지에서 47%의 정확도를 기록하였으며, 이는 20%의 무작위 기준보다 유의미하게 높았다.
• 다수준 HMM 기반 방법은 참여도 상태의 연속적인 시간적 동적 특성을 모델링함으로써 정확도를 61%로 향상시켰다.
• 참가자 간의 상호 영향을 모델링하기 위해 결합된 HMM을 추가로 적용함으로써 정확도는 63%로 더욱 향상되었으며, 이는 상호작용을 모델링하는 데서의 가치를 입증한다.
• 참가자 독립 설정에서 자연스러운 음성(CallFriend 코퍼스)에서 5개의 이산 정서 유형에 대해 51%의 정확도, 5개의 각성 수준에 대해선 58%의 정확도를 기록하여 참가자 변동에 대해 중간 수준의 강건성을 보였다.
• 만족 수준의 인식 정확도는 54%로 각성 수준(3단계 기준 67%)보다 낮았으며, 이는 심리학적 연구에서 각성의 지각적 두드러짐과 일치한다.
• 연기된, 참가자 의존 데이터에서의 결과(예: EP 코퍼스에서 75% 정확도)는 실제 세계의 자연스러운, 참가자 독립적인 상황에서는 일반화되지 않으며, 이 경우 성능이 유의미하게 떨어진다.