[논문 리뷰] Sentiment analysis of twitter data

Hamid Bagheri, Johirul Islam|arXiv (Cornell University)|2017. 11. 15.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 실시간 API 통합과 자연어 처리 기법을 사용하여 트위터 데이터의 감성 분석을 위한 실용적인 프레임워크를 제시한다. 정치에서 인도적 문제에 이르기까지 다양한 주제에 대해 이 방법을 적용한 결과, 중립 감성의 높은 비중을 확인하였으며, 이는 현재의 감성 분석 모델에 내재된 한계를 드러내고 중립 콘텐츠에 대한 개선된 처리 필요성을 제기한다.

ABSTRACT

Social networks are the main resources to gather information about people's opinion and sentiments towards different topics as they spend hours daily on social media and share their opinion. In this technical paper, we show the application of sentimental analysis and how to connect to Twitter and run sentimental analysis queries. We run experiments on different queries from politics to humanity and show the interesting results. We realized that the neutral sentiments for tweets are significantly high which clearly shows the limitations of the current works.

연구 동기 및 목표

• 실시간 데이터 수집을 활용한 트위터 데이터에 대한 감성 분석의 실용적 접근 방식을 보여주기 위해.
• 정치 및 인도적 문제와 같은 다양한 주제에 걸쳐 감성 분포를 평가하기 위해.
• 트위터 데이터에서 중립 감성 비율이 높은 이유를 특정하고 분석하기 위해.
• 중립 콘텐츠의 과도한 표현으로 인해 기존 감성 분석 모델의 한계를 부각하기 위해.
• 연구자와 실무자들이 재현 가능한 기술 파이프라인을 구축할 수 있도록 제공하기 위해.

제안 방법

• 저자는 정의된 쿼리 기반으로 실시간 트위터 트윗을 수집하기 위해 트위터 API를 사용한다.
• 수집된 트윗을 정제하고 정규화하기 위해 텍스트 전처리 기법을 적용한다.
• 기존의 NLP 기법과 감성 어휘집을 활용하여 감성 분류를 수행한다.
• 정치 및 인도적 주제를 포함한 다양한 도메인에 걸쳐 쿼리 처리를 수행한다.
• 감성 분포를 분석하여, 특히 중립 감성의 빈도를 포함한 패턴을 식별한다.
• 성능과 일관성을 검증하기 위해 다양한 샘플 쿼리에 대해 프레임워크를 구현하고 테스트한다.

실험 결과

연구 질문

• RQ1 어떻게 실시간 트위터 데이터에 감성 분석을 효과적으로 적용할 수 있는가?
• RQ2 정치 및 인도적 문제와 같은 다양한 트위터 주제에서 감성 클래스(긍정, 부정, 중립)의 분포는 어떻게 되는가?
• RQ3 왜 트위터 데이터에서 중립 감성의 비율이 상당히 높은가?
• RQ4 현재의 감성 분석 모델이 중립 콘텐츠를 처리하지 못하는 정도는 어느 정도인가?
• RQ5 트위터에서 감성 분석을 위한 실용적이고 재현 가능한 파이프라인을 구축할 수 있는가?

주요 결과

• 많은 비율의 트윗이 중립으로 분류되어 현재의 감성 분석 시스템에 중대한 한계를 드러내고 있다.
• 중립 감성의 높은 비율은 기존 모델이 중립 콘텐츠 탐지에 최적화되어 있지 않을 수 있음을 시사한다.
• 감성 분석 결과는 주제에 따라 달라졌으며, 정치 및 인도적 문제 주제에서는 특별한 감성 패턴을 보였다.
• API를 통한 실시간 트위터 데이터 수집이 감성 분석 작업에 실현 가능하고 효과적임을 확인하였다.
• 사회 미디어에서 중립적 또는 모호한 언어를 더 잘 처리할 수 있는 개선된 모델의 필요성을 강조한다.
• 기술 파이프라인이 다양한 쿼리 카테고리에 걸쳐 감성 분류를 성공적으로 구현하였다.