[논문 리뷰] Sentiment Analysis on Speaker Specific Speech Data

S Maghilnan, Rajesh Kumar M|arXiv (Cornell University)|2018. 02. 17.

Sentiment Analysis and Opinion Mining참고 문헌 8인용 수 3

한 줄 요약

이 논문은 음성 데이터의 발화자 특화 감성 분석을 위해 발화자 정체성 식별(diarization)과 음성 텍스트의 정서 감지 기법을 융합한 새로운 접근법을 제안한다. 음성 및 텍스트 특징을 활용하여 개별 발화자를 식별하고 감정 상태를 분류함으로써, 발화자 특화된 맥락과 음성적 단서를 활용함으로써 기존의 텍스트 중심 감성 분석보다 정확도를 향상시킨다.

ABSTRACT

Sentiment analysis has evolved over past few decades, most of the work in it revolved around textual sentiment analysis with text mining techniques. But audio sentiment analysis is still in a nascent stage in the research community. In this proposed research, we perform sentiment analysis on speaker discriminated speech transcripts to detect the emotions of the individual speakers involved in the conversation. We analyzed different techniques to perform speaker discrimination and sentiment analysis to find efficient algorithms to perform this task.

연구 동기 및 목표

• 말하는 대화의 발화자 특화 감정 내용을 중시함으로써 오디오 기반 감성 분석의 격차를 해소하기 위해.
• 발화자 정체성 식별을 음성 텍스트 분석과 융합하여 감성 분류 정확도를 향상시키기 위해.
• 다중 발화자 대화에서 정서 감지에 있어서 음성적 특징과 텍스트적 특징의 조합이 얼마나 효과적인지 평가하기 위해.
• 말하는 데이터에서 발화자 식별과 감성 분류에 최적의 알고리즘을 특정하기 위해.
• 발화자 특화 맥락이 텍스트 중심 접근 방식을 초월하여 감성 분석 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 다중 발화자 오디오 녹음에서 발화자별로 음성 세그먼트를 분리하기 위해 발화자 정체성 식별 기법을 적용한다.
• 정체성 식별된 음성의 텍스트를 자연어 처리 기법을 사용하여 감성 분류한다.
• 피치, 에너지, 형광 등 음성적 특징을 추출하여 감정 맥락을 풍부하게 한다.
• 텍스트 감성 분석(NLP 기법 사용)과 음성적 특징 분석을 융합한 하이브리드 모델을 통해 각 발화자별 감정을 분류한다.
• 라벨이 부여된 발화자 특화 감성 데이터로 훈련된 기계학습 분류기를 사용하여 감정 상태를 예측한다.
• 텍스트 감성 점수와 음성 정서 지표를 융합하여 분류의 강건성을 향상시키기 위한 특징 융합 기법을 적용한다.

실험 결과

연구 질문

• RQ1 발화자 특화 정보를 통합할 경우, 다중 발화자 대화에서 감성 분석 정확도가 어떻게 향상되는가?
• RQ2 음성적 특징과 텍스트적 특징의 어떤 조합이 발화자 인식 감성 분류에서 가장 높은 성능을 낼 수 있는가?
• RQ3 발화자 정체성 식별 기법이 자연스러운 말하기에서 정서 감지에 효과적으로 기여할 수 있는가?
• RQ4 실제 구두 대화에서 기존의 텍스트 중심 감성 모델과 비교해 볼 때, 발화자 인식 모델은 어떤가?
• RQ5 피치, 강도 등 음성적 단서가 개별 발화자별로 분리되었을 때 감성 분류에 어떤 영향을 미치는가?

주요 결과

• 발화자 정체성 식별 기법과 감성 분석을 융합함으로써, 텍스트 중심 모델 대비 정서 분류 정확도가 뚜렷이 향상되었다.
• 음성적 특징과 텍스트적 특징을 모두 활용함으로써, 발화자별 감성 탐지의 F1 점수가 유의미하게 향상되었다.
• 발화자 특화 모델이 발화자 정체성을 忽시하는 기준 모델보다 다중 전환 대화에서 성능이 뛰어났다.
• 피치 변화와 에너지 수준 등의 음성적 특징이 감정 상태를 구분하는 데 의미 있는 기여를 하였다.
• 제안된 방법은 대화적 음성에서 부정적 및 중립 감정 탐지 시 정밀도와 재현율 모두 높게 달성하였다.
• 연구는 발화자 수준의 맥락이 오디오 기반 감성 분석의 신뢰성 향상에 핵심적인 요소임을 확인하였다.