[논문 리뷰] ScenarioSA: A Large Scale Conversational Database for Interactive Sentiment Analysis

Yazhou Zhang, Lingling Song외 4명|arXiv (Cornell University)|2019. 07. 12.

Sentiment Analysis and Opinion Mining참고 문헌 6인용 수 6

한 줄 요약

이 논문은 2,214개의 다중 전환 영어 대화를 수작업으로 감정 분석 레이블링한 대규모 공개 대화 데이터베이스인 ScenarioSA를 소개한다. 이는 다양한 실제 상황에서의 동적 감정 상태와 상호감정적 진화를 포괄하여, 정적 텍스트 분류를 넘어서는 상호작용 감성 분석을 위한 고도화된 모델 개발과 평가를 가능하게 한다.

ABSTRACT

Interactive sentiment analysis is an emerging, yet challenging, subtask of the sentiment analysis problem. It aims to discover the affective state and sentimental change of each person in a conversation. Existing sentiment analysis approaches are insufficient in modelling the interactions among people. However, the development of new approaches are critically limited by the lack of labelled interactive sentiment datasets. In this paper, we present a new conversational emotion database that we have created and made publically available, namely ScenarioSA. We manually label 2,214 multi-turn English conversations collected from natural contexts. In comparison with existing sentiment datasets, ScenarioSA (1) covers a wide range of scenarios; (2) describes the interactions between two speakers; and (3) reflects the sentimental evolution of each speaker over the course of a conversation. Finally, we evaluate various state-of-the-art algorithms on ScenarioSA, demonstrating the need of novel interactive sentiment analysis models and the potential of ScenarioSA to facilitate the development of such models.

연구 동기 및 목표

• 다중 전환 대화에서 상호작용 감성 분석을 위한 대규모 레이블링된 데이터셋 부족 문제를 해결하기 위해.
• 상호작용 중 개별 발화자들의 동적 감정 상태와 감성 변화를 포착하는 데이터셋을 구축하기 위해.
• 단일 감성 예측이 아닌 상호감정 역학을 모델링하는 새로운 모델 개발을 지원하기 위해.
• 상호작용 감성 이해 작업에서 최첨단 알고리즘의 평가를 위한 벤치마크를 제공하기 위해.

제안 방법

• 저자들은 실제 상황에서 수집한 2,214개의 자연스럽고 다중 전환 영어 대화를 확보하여 다양성과 진정성을 확보했다.
• 각 대화는 각 발화에 대한 감성 레이블링을 수작업으로 수행하여, 각 발화자들의 시간에 따른 감정 상태를 포착했다.
• 사회적, 직장적, 정서적 상호작용을 포함한 다양한 상황을 다루어 실제 대화의 복잡성을 반영했다.
• 대화 전환 간 감성 변화를 명시적으로 레이블링하여 상호작용 중 감정 상태의 변화를 반영했다.
• 대화 수준 및 전환 수준의 감성 분석을 지원하도록 데이터셋을 구조화하여, 발화자별 감성 궤적 모델링이 가능하도록 했다.
• 재현 가능한 연구와 상호작용 감성 분석 분야의 모델 개발을 지원하기 위해 데이터셋을 공개했다.

실험 결과

연구 질문

• RQ1 기존 최첨단 모델들이 다중 전환 대화에서 상호작용 감성 역학을 얼마나 잘 포착하는가?
• RQ2 기존 감성 분석 모델들이 시간에 따라 변화하는 개별 발화자들의 감정 상태를 효과적으로 모델링할 수 있는가?
• RQ3 현재 접근 방식이 상호감정 역학을 포함한 대화 감성 분석에 적용되었을 때의 한계는 무엇인가?
• RQ4 데이터셋 내 상황 다양성이 모델 일반화 및 성능에 어느 정도 영향을 미치는가?
• RQ5 대규모 수작업 레이블링 대화 데이터셋이 상호작용 감성 분석 모델 개발에 어떻게 기여할 수 있는가?

주요 결과

• ScenarioSA에서 최첨단 모델의 평가 결과, 상호작용 감성 역학을 모델링하는 데 있어 뚜렷한 성능 격차가 드러나 현재 모델들이 이에 적합하지 않음을 시사한다.
• 데이터셋의 복잡성과 다양성이 감성을 정적 또는 발화자 간 무시하는 방식으로 다루는 현재의 접근 방식의 한계를 드러낸다.
• 결과는 감성 변화와 상호작용을 특별히 고려하여 설계된 새로운 모델의 명백한 필요성을 입증한다.
• ScenarioSA의 가용성 덕분에 상호작용 감성 분석 시스템의 보다 정확하고 세밀한 평가가 가능해졌다.
• 이 데이터셋은 이전 벤치마크에서 부족했던 개별 감정 궤적 추적 기능을 갖춘 모델 개발을 지원한다.