[논문 리뷰] Broker Bots: Analyzing automated activity during High Impact Events on Twitter

Sudip Mittal, Ponnurangam Kumaraguru|arXiv (Cornell University)|2014. 06. 17.

Public Relations and Crisis Communication참고 문헌 19인용 수 11

한 줄 요약

이 논문은 고영향력 사건 기간 동안 수동 애너테이션과 기계 학습을 활용해 트위터 봇을 식별하고 분석하는 방법론을 제안하며, 봇이 주로 신뢰할 수 있는 소스에서 정보를 집계하고 중개하는 경향이 있으며 허위 정보를 퍼뜨리는 것은 아님을 밝혀냈다. 2013년 봇은 IFTTT와 dlvr.it와 같은 웹 자동화 도구를 점점 더 많이 사용했으며, 그들의 활동은 대부분 악성 행위가 아니었으며, 사용자 기반 특징을 사용한 실시간 봇 분류기에서 85.10%의 정확도를 기록했다.

ABSTRACT

Twitter is now an established and a widely popular news medium. Be it normal banter or a discussion on high impact events like Boston marathon blasts, February 2014 US Icestorm, etc., people use Twitter to get updates. Twitter bots have today become very common and acceptable. People are using them to get updates about emergencies like natural disasters, terrorist strikes, etc. Twitter bots provide these users a means to perform certain tasks on Twitter that are both simple and structurally repetitive. During high impact events these Twitter bots tend to provide time critical and comprehensive information. We present how bots participate in discussions and augment them during high impact events. We identify bots in high impact events for 2013: Boston blasts, February 2014 US Icestorm, Washington Navy Yard Shooting, Oklahoma tornado, and Cyclone Phailin. We identify bots among top tweeters by getting all such accounts manually annotated. We then study their activity and present many important insights. We determine the impact bots have on information diffusion during these events and how they tend to aggregate and broker information from various sources to different users. We also analyzed their tweets, list down important differentiating features between bots and non bots (normal or human accounts) during high impact events. We also show how bots are slowly moving away from traditional API based posts towards web automation platforms like IFTTT, dlvr.it, etc. Using standard machine learning, we proposed a methodology to identify bots/non bots in real time during high impact events. This study also looks into how the bot scenario has changed by comparing data from high impact events from 2013 with data from similar type of events from 2011. Lastly, we also go through an in-depth analysis of Twitter bots who were active during 2013 Boston Marathon Blast.

연구 동기 및 목표

• 고영향력 사건 동안 트위터에서 자동화 계정(봇)의 정보 확산 역할을 이해하기 위해.
• 위기 상황 기간 동안 수동 애너테이션과 기계 학습을 활용해 봇과 인간 계정을 식별하고 구분하기 위해.
• 2011년과 2013년 사이에 봇 행동과 게재 방식의 변화를 분석하기 위해, 특히 API 기반에서 웹 자동화 플랫폼으로의 전환을 중심으로.
• 최신 뉴스 사건 기간 동안 봇이 허위 정보 확산에 미치는 영향과 정보 유포에 미치는 영향을 평가하기 위해.
• 위기 모니터링를 위해 사용자 수준의 특징과 시간적 특징을 활용한 실시간 봇 탐지 모델을 개발하기 위해.

제안 방법

• 보스턴 마라톤 폭발, 아이스톰, 워싱턴 내비 올드 샷건, 올라호마 토너도, 사이클론 파일린 등 2013년 다섯 가지 고영향력 사건에 대해 트위터 API를 사용해 트위터 데이터를 수집했다.
• 이러한 사건의 상위 약 1,000명의 트위터 사용자를 수동 레이블링을 통해 봇 또는 비봇으로 애너테이션하여 총 377개의 봇과 115개의 비봇을 확보했다.
• 애너테이션된 데이터에 팔로워/팔로잉 네트워크, 프로필 설명, 트윗 원천, URL, 게재 시간 등을 보완했다.
• WEKA를 사용해 사용자 기반 특징(예: 팔로워/팔로잉 비율, 프로필 키워드 등)을 기반으로 봇과 인간을 구분하는 기계 학습 분류기를 훈련시켜 85.10%의 정확도를 달성했다.
• 2011년 위기 사건 데이터와의 비교를 통해 2013년 봇의 게재 방식과 원천의 변화를 식별했다.
• 개별 봇의 상호작용 패턴과 콘텐츠 패턴을 심층 분석하여 정보 중개 기능을 이해하기 위해 분석을 수행했다.

실험 결과

연구 질문

• RQ1 트위터에서 고영향력 사건 기간 동안 봇은 정보 확산에 어떻게 참여하는가?
• RQ2 위기 상황 기간 동안 봇과 비봇 계정의 구별되는 특징은 무엇인가?
• RQ3 2011년에서 2013년 사이에 봇의 게재 방식은 어떻게 변화했는가? 특히 플랫폼 사용 측면에서 어떻게 변화했는가?
• RQ4 최신 뉴스 사건 기간 동안 봇은 허위 정보 확산에 어느 정도 기여하는가?
• RQ5 실시간으로 활동 중인 사건 기간 동안 사용자 수준의 특징을 활용해 효과적인 실시간 봇 탐지 모델을 구축할 수 있는가?

주요 결과

• 2013년 봇은 주로 IFTTT와 dlvr.it와 같은 웹 자동화 플랫폼을 사용했으며, 이는 2011년에 사용된 전통적인 API 기반 게재 방식에서의 전환을 나타낸다.
• 기계 학습 분류기는 사용자 기반 특징을 사용해 봇과 비봇을 구분하는 데 85.10%의 정확도를 기록했으며, 시간적 특징은 상대적으로 낮은 성능을 보였다.
• 비봇보다 봇은 훨씬 높은 팔로워 대 팔로잉 비율을 보였으며, 중앙값은 봇 기준 1.53, 비봇 기준 0.31로, 봇은 방송 중심의 행동을 취하고 있음을 시사한다.
• 봇은 흔히 허위 정보를 퍼뜨리지 않았으며, 만약 퍼뜨렸더라도 상당한 지연이 있었고, 이는 검증되거나 신뢰할 수 있는 정보 원천에 의존하고 있음을 시사한다.
• 봇의 프로필 설명에는 '뉴스', '업데이트', '단발성', '원천' 등의 용어가 자주 등장했고, 봇의 팔로워들 역시 유사한 키워드를 포함하고 있어 네트워크 기반의 정보 중개 패턴을 나타낸다.
• 보스턴 마라톤 폭발 사건 기간 동안 봇과 그 팔로워들이 형성한 네트워크는 허브 앤 스퍼이크 구조를 띠었으며, 봇은 검증된 원천에서 정보를 수집해 광범위한 대중에게 배포하는 중개자 역할을 했다.