[논문 리뷰] Topic and Sentiment Analysis on OSNs: a Case Study of Advertising Strategies on Twitter

Shana Dacres, Hamed Haddadi외 1명|arXiv (Cornell University)|2013. 12. 23.

Sentiment Analysis and Opinion Mining참고 문헌 26인용 수 12

한 줄 요약

이 연구는 고급 자연어 처리(NLP)와 기계학습을 활용해 티커트 광고 전략을 분석하여 프로모션 트윗과 프로모션 트렌드를 비교한다. 분석 결과, 프로모션 트렌드는 더 높은 참여도를 보이지만, 프로모션 트윗은 유의미하게 더 긍정적인 정서와 지속적인 브랜드 참여를 이끌어내어, 정확한 소셜 미디어 분석을 위한 강력한 정서 및 주제 분류의 중요성을 입증한다.

ABSTRACT

Social media have substantially altered the way brands and businesses advertise: Online Social Networks provide brands with more versatile and dynamic channels for advertisement than traditional media (e.g., TV and radio). Levels of engagement in such media are usually measured in terms of content adoption (e.g., likes and retweets) and sentiment, around a given topic. However, sentiment analysis and topic identification are both non-trivial tasks. In this paper, using data collected from Twitter as a case study, we analyze how engagement and sentiment in promoted content spread over a 10-day period. We find that promoted tweets lead to higher positive sentiment than promoted trends; although promoted trends pay off in response volume. We observe that levels of engagement for the brand and promoted content are highest on the first day of the campaign, and fall considerably thereafter. However, we show that these insights depend on the use of robust machine learning and natural language processing techniques to gather focused, relevant datasets, and to accurately gauge sentiment, rather than relying on the simple keyword- or frequency-based metrics sometimes used in social media research.

연구 동기 및 목표

• 프로모션 트윗과 프로모션 트렌드라는 서로 다른 티커트 광고 전략이 사용자 참여도와 정서에 미치는 영향을 조사하기 위해.
• 강력한 NLP 및 기계학습 기법이 소셜 미디어 데이터의 정서 및 주제 분류 정확도에 미치는 영향을 평가하기 위해.
• 온라인 광고 캠페인에서 참여도의 양상, 정서 극성, 브랜드 언급 빈도 간의 상호 상충 관계를 규명하기 위해.
• 단순 키워드 기반 필터링 및 정서 분석은 감독 기반 기계학습 방법에 비해 오해의 소지가 있는 결과를 낳는다는 것을 입증하기 위해.
• 캠페인 목표에 따라 프로모션 트윗과 프로모션 트렌드 중 어떤 것을 선택할지 광고주에게 실질적인 통찰을 제공하기 위해.

제안 방법

• 주요 쇼핑 행사 기간 동안 10일간 실시간 티커트 데이터를 스트리밍 API를 통해 수집하였다.
• 주제 관련성에 대해 분류하는 디스크리민티브 기계학습 모델을 적용하여 간단한 키워드 기반 필터링과 비교하였다.
• 여러 정서 분석 도구와 모델을 사용하여 트윗을 긍정, 부정, 중립 정서로 분류하고, 각 방법 간 성능을 평가하였다.
• 각 프로모션 항목에 대해 시간에 따라 리트윗, 언급, 해시태그 사용량 등의 참여 지표를 추적하였다.
• ASOS와 Vauxhall의 사례 연구를 통해 활성 프로모션 기간 이후에도 지속되는 참여도를 분석하였다.
• 수동 점검을 통해 오픈소스 NLP 도구의 한계를 파악하고 분류 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 프로모션 트윗과 프로모션 트렌드에 대한 정서는 시간이 지남에 따라 어떻게 변화하는가?
• RQ2 프로모션 트윗과 프로모션 트렌드의 일일 참여 수준은 어떻게 되며, 프로모션 종료 후에는 어떻게 변화하는가?
• RQ3 프로모션 트윗과 프로모션 트렌드 간 직접적인 브랜드 언급과 해시태그 사용 방식은 어떻게 다를까?
• RQ4 단순한 키워드 기반 또는 빈도 기반 방법은 감독 기반 기계학습 접근에 비해 정서 및 주제 관련성의 표현을 어느 정도 잘못 해석하는가?
• RQ5 브랜드 포함성과 정서적 어조 측면에서 프로모션 트윗과 프로모션 트렌드 간의 참여도 및 정서 패턴은 어떻게 다를까?

주요 결과

• 프로모션 트윗은 첫날 32%의 긍정적 정서를 기록하여 프로모션 트렌드(전체 트윗 중 37%만 긍정적)보다 유의미하게 더 높은 긍정적 정서를 유도함으로써, 사용자들이 더 유리하게 인식하고 있음을 시사한다.
• 프로모션 첫날, 프로모션 트렌드에 대한 트윗 중 26%가 부정적 정서를 표현한 반면, 프로모션 트윗은 단지 10%에 불과하여 프로모션 트윗이 더 강한 정서적 반응을 유도하고 있음을 나타낸다.
• 프로모션 트렌드의 참여도는 프로모션 트윗보다 높았으며, 첫날에 피크에 도달한 후 이틀째에 초기 수치의 10%로 급격히 감소하여 사용자 피로도가 급격히 증가함을 보여준다.
• 해시태그 사용량 감소에도 불구하고, ASOS와 Vauxhall의 경우 활성 프로모션 기간 이후에도 지속적인 참여가 유지되어, 사용자 관심이 프로모션 기간을 초월할 수 있음을 보여준다.
• 이 연구는 프로모션 트윗이 더 많은 직접적인 브랜드 언급과 더 많은 브랜드 포함 참여를 이끌어내어, 사용자들이 브랜드와 더 강한 유대감을 형성하고 있음을 확인하였다.
• 강력한 기계학습 기반의 필터링 및 정서 분류가 필수적이었으며, 키워드 기반 방법은 정서의 미묘한 차이와 주제 관련성을 포착하지 못해 잘못된 결론을 이끌어내는 데 실패했다.