[논문 리뷰] Identifying Biased Users in Online Social Networks to Enhance the Accuracy of Sentiment Analysis: A User Behavior-Based Approach

Amin Mahmoudi|arXiv (Cornell University)|2021. 05. 12.

Digital Marketing and Social Media참고 문헌 30인용 수 5

한 줄 요약

이 논문은 온라인 소셜 네트워크에서 일관되게 긍정적이거나 부정적인 사용자(편향된 사용자)를 식별하기 위해 사용자 행동 기반 신경망 분류기를 제안한다. 이는 텍스트 내용에만 의존하는 것이 아니라 심리적 행동 패턴을 탐지함으로써 감성 분석 정확도를 향상시킨다. 이 방법은 세 개의 데이터셋에서 각각 89%, 67%, 81%의 정확도를 달성하여 행동 신호만으로도 감성 편향을 효과적으로 예측할 수 있음을 보여준다.

ABSTRACT

The development of an automatic way to extract user opinions about products, movies, and foods from online social network (OSN) interactions is among the main interests of sentiment analysis and opinion mining studies. Existing approaches in the sentiment analysis domain mostly do not discriminate the sentences of different types of users, even though some users are always negative and some are always positive. Thus, finding a way to identify these two types of user is significant because their attitudes can change the analysis of user reviews of businesses and products. Due to the complexity of natural language processing, pure text mining methods may lead to misunderstandings about the exact nature of the sentiments expressed in review text. In this study, we propose a neural network classifier to predict the presence of biased users on the basis of users' psychological behaviors. The identification of the psychological behaviors of users allows us to find overly positive and overly negative users and to categorize these users' attitudes regardless of the content of their review texts. The experiment result indicates that the biased users can be predicted based on user behavior at an accuracy rate of 89%, 67% and 81% for three different datasets.

연구 동기 및 목표

• 편향된 사용자가 전체 감성 추세를 왜곡하는 온라인 소셜 네트워크에서 감성 분석의 과제를 해결하기 위해.
• 기존의 감성 분석 방법이 콘텐츠와 관계없이 일관되게 극단적인 감성을 보이는 사용자를 고려하지 못한다는 점을 인식하기 위해.
• 텍스트 감성에만 의존하는 것이 아니라 사용자의 심리적 행동을 분석함으로써 편향된 사용자를 탐지하는 방법을 개발하기 위해.
• 사용자 편향 프로파일을 기반으로 리뷰를 필터링하거나 가중치를 조정함으로써 감성 분석의 정확도를 향상시키기 위해.
• 소셜 미디어 데이터에서 사용자 편향을 식별하고 보정함으로써 제품, 영화, 서비스에 대한 더 신뢰할 수 있는 의견 마이닝을 가능하게 하기 위해.

제안 방법

• 온라인 소셜 네트워크 상호작용에서 추출한 사용자 행동 특징으로 훈련된 신경망 분류기를 사용하기 위해.
• 게시 빈도, 참여 패턴, 시간에 따른 감성 일관성과 같은 심리적 행동을 모델링하기 위해.
• 텍스트 내용에 의존하지 않아서 오해의 소지가 있는 언어적 단서에 영향을 받지 않도록 행동 신호를 텍스트 내용과 독립적으로 추출하기 위해.
• 일관되게 긍정적, 일관되게 부정적, 또는 중립적인 감성 경향을 보이는 사용자를 구분할 수 있도록 분류기 훈련하기 위해.
• 사용자가 극단적인 감성 경향을 보이는지 예측하기 위해 행동 시퀀스를 입력 특징으로 사용하기 위해.
• 실제 데이터셋에 모델을 적용하여 텍스트 기반 감성 분석 없이도 편향된 사용자를 탐지할 수 있는 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 온라인 소셜 네트워크에서 사용자 행동 패턴을 통해 텍스트 내용 분석 없이도 편향된 감성 성향을 신뢰성 있게 예측할 수 있는가?
• RQ2 신경망 분류기가 일관되게 과도하게 긍정적이거나 부정적인 리뷰를 게시하는 사용자를 얼마나 정확하게 식별할 수 있는가?
• RQ3 편향된 사용자를 탐지하는 데 있어 행동 특징이 텍스트 기반 감성 분석보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 다양한 데이터셋이 행동 기반 편향 탐지의 성능에 어떻게 영향을 미치는가?
• RQ5 심리적 행동 패턴을 활용하면 소셜 미디어에서 감성 분석의 총체적 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 사용자 행동 기반 접근법은 한 데이터셋에서 편향된 사용자를 식별하는 데 89%의 정확도를 달성했다.
• 두 번째 데이터셋에서는 67%의 탐지 정확도를 기록하여 다양한 사용자 집단 간의 변동성을 보였다.
• 세 번째 데이터셋에서는 81%의 정확도를 기록하여 다양한 소셜 네트워크 환경에서도 일관된 성능을 보였다.
• 결과는 텍스트를 분석하지 않더라도 행동 패턴만으로도 감성 편향을 효과적으로 예측할 수 있음을 확인했다.
• 극단적인 사용자가 감성 분석 결과를 왜곡하는 데 기인한 오분류 위험을 줄였다.
• 사용자 편향이 감성 추세를 크게 왜곡하는 상황에서는 신경망 분류기가 텍스트 전용 감성 분석보다 뛰어난 성능을 보였다.