[논문 리뷰] Incorporating Emotion and Personality-Based Analysis in User-Centered Modelling

Mohamed M. Mostafa, Tom Crick외 2명|arXiv (Cornell University)|2016. 08. 10.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 5

한 줄 요약

이 논문은 온라인 소셜 시스템에서 시스템 상태(예: 장애 또는 대기 상태)를 예측하기 위해 성격 특성(Big Five)과 사회적 정서 톤(기쁨, 슬픔, 분노, 혐오)을 통합하는 사용자 중심 모델링 프레임워크를 제안한다. 소셜 미디어 텍스트의 언어 분석을 위해 IBM 워즈턴 톤 분석기와 LIWC를 사용하여, 57개의 테스트 인스턴스에서 시스템 상태를 분류하는 데 75.44%의 정확도를 달성하였으며, 이는 정서 및 성격 기반 분석이 사용자 경험 향상을 위한 예측 모델링을 향상시킬 수 있음을 보여준다.

ABSTRACT

Understanding complex user behaviour under various conditions, scenarios and journeys can be fundamental to the improvement of the user-experience for a given system. Predictive models of user reactions, responses -- and in particular, emotions -- can aid in the design of more intuitive and usable systems. Building on this theme, the preliminary research presented in this paper correlates events and interactions in an online social network against user behaviour, focusing on personality traits. Emotional context and tone is analysed and modelled based on varying types of sentiments that users express in their language using the IBM Watson Developer Cloud tools. The data collected in this study thus provides further evidence towards supporting the hypothesis that analysing and modelling emotions, sentiments and personality traits provides valuable insight into improving the user experience of complex social computer systems.

연구 동기 및 목표

• 사용자 생성 소셜 미디어 콘텐츠에서 성격 특성과 정서 톤을 활용하여 시스템 상태(예: 장애 또는 대기 상태)를 예측하는 모델을 개발하기 위해.
• 온라인 상호작용에서 정서 표현과 성격 특성 간의 상관관계를 조사하기 위해.
• IBM 워즈턴 개발자 클라우드와 같은 저비용으로 확장 가능한 도구가 사회기술적 시스템에서 정서 및 성격 분석에 활용 가능한지 타당성을 평가하기 위해.
• 심리언어적 프로파일링을 통해 적응형 시스템에서 사용자 경험 향상을 위한 기초 프레임워크를 제공하기 위해.

제안 방법

• 온라인 소셜 네트워크의 텍스트 상호작용에서 정서 톤(기쁨, 슬픔, 분노, 혐오)을 추출하기 위해 IBM 워즈턴 톤 분석기를 활용하였다.
• 심리언어학적 사전인 LIWC를 사용하여 성격 및 정서 상태와 관련된 심리적으로 의미 있는 단어 카테고리 식별하였다.
• 선형 회귀 및 피어슨 상관관계 분석을 적용하여 성격 차원(개방성, 외향성, 성실성, 신경증)과 정서 톤 간의 유의미한 관계를 규명하였다.
• 선택된 입력 특징(개방성, 외향성, 성실성, 신경증, 기쁨, 슬픔, 분노, 혐오)을 사용하여 시스템 상태(대기 또는 장애)를 분류하는 예측 모델을 구축하였다.
• 57개의 테스트 인스턴스를 사용하여 모델 성능을 평가하였으며, 정확도, 카파 통계량, 오차 지표(평균 절대 오차, 제곱근 평균 제곱 오차)를 보고하였다.

실험 결과

연구 질문

• RQ1 성격 특성(Big Five)이 온라인 소셜 미디어 상호작용에서 표현된 정서 톤과 어느 정도 상관관계가 있는가?
• RQ2 정서 및 성격 기반 분석은 온라인 플랫폼에서 시스템 상태(예: 장애 또는 대기 상태) 예측에 향상 기여를 할 수 있는가?
• RQ3 사용자 상호작용에서 시스템 상태 변화를 가장 잘 예측하는 정서 톤과 성격 차원은 무엇인가?
• RQ4 IBM 워즈턴 톤 분석기는 소셜 미디어 텍스트에서 미묘한 정서적 및 성격 신호를 얼마나 효과적으로 포착하는가?

주요 결과

• 모델은 57개의 테스트 인스턴스에서 시스템 상태(대기 또는 장애)를 분류하는 데 75.44%의 정확도를 달성하였으며, 43건은 정확히 분류되었고 14건은 잘못 분류되었다.
• 카파 통계량 0.5295는 우연을 초월한 중간 정도의 일致를 나타내어 모델의 예측 신뢰도를 뒷받침한다.
• 신경증은 슬픔(r = -0.488)과 혐오(r = 0.379)와 가장 강한 정적 상관관계를 보였으며, 기쁨은 개방성(r = 0.267)과 정적 상관관계를 보였다.
• 협조성은 어떤 정서 톤과도 유의미한 상관관계를 보이지 않아 이 맥락에서 예측 능력이 제한적임을 시사한다.
• 분노는 선형 회귀에서 유의미하지 않았지만, 피어슨 상관계수(r = 0.3에서 0.5 사이)는 입력 특징으로서의 잠재적 가치를 시사한다.
• 모델의 평균 절대 오차(0.3432)와 제곱근 평균 제곱 오차(0.4246)는 중간 정도의 예측 오차를 나타내며, 소규모 데이터셋에 대한 초보적 연구로는 수용 가능한 수준이다.