[논문 리뷰] Identifying Data Noises, User Biases, and System Errors in Geo-tagged Twitter Messages (Tweets)

Ming‐Hsiang Tsou, Hao Zhang외 1명|arXiv (Cornell University)|2017. 12. 06.

Complex Network Analysis Techniques참고 문헌 12인용 수 15

한 줄 요약

이 논문은 트위터의 스트리밍 API에서 제공하는 지리 태그가 부여된 트윗의 데이터 노이즈, 사용자 편향, 시스템 오류를 메타데이터 분석과 공간 검증을 통해 식별하고 정량화한다. 샌디에이고에서는 29.42%, 콜럼버스에서는 53.47%의 지리 태그가 부여된 트윗이 스팸, 봇, 사이보그임을 확인했으며, 57.3% 이상이 API의 지정된 경계 상자 외부에 위치해 있어 공간 분석을 위한 데이터 품질 문제를 드러낸다.

ABSTRACT

Many social media researchers and data scientists collected geo-tagged tweets to conduct spatial analysis or identify spatiotemporal patterns of filtered messages for specific topics or events. This paper provides a systematic view to illustrate the characteristics (data noises, user biases, and system errors) of geo-tagged tweets from the Twitter Streaming API. First, we found that a small percentage (1%) of active Twitter users can create a large portion (16%) of geo-tagged tweets. Second, there is a significant amount (57.3%) of geo-tagged tweets located outside the Twitter Streaming API's bounding box in San Diego. Third, we can detect spam, bot, cyborg tweets (data noises) by examining the "source" metadata field. The portion of data noises in geo-tagged tweets is significant (29.42% in San Diego, CA and 53.47% in Columbus, OH) in our case study. Finally, the majority of geo-tagged tweets are not created by the generic Twitter apps in Android or iPhone devices, but by other platforms, such as Instagram and Foursquare. We recommend a multi-step procedure to remove these noises for the future research projects utilizing geo-tagged tweets.

연구 동기 및 목표

• 트위터의 스트리밍 API에서 제공하는 지리 태그가 부여된 트윗의 데이터 품질 문제—데이터 노이즈, 사용자 편향, 시스템 오류—를 체계적으로 특성화하기 위해.
• 메타데이터 필드를 활용하여 스팸, 봇, 사이보그 활동의 확산 정도를 정량화하기 위해.
• API의 지정된 경계 상자와의 비교를 통해 지리 태그가 부여된 트윗의 공간 정확도를 평가하기 위해.
• 네이티브 모바일 앱 외부에서 주로 지리 태그가 부여된 트윗을 생성하는 주요 플랫폼을 특정하기 위해.
• 미래의 공간 및 시간 분석을 위한 지리 태그가 부여된 트위터 데이터의 신뢰성을 향상시키기 위해 다단계 데이터 정제 절차를 제안하기 위해.

제안 방법

• 스팸, 봇, 사이보그 활동를 탐지하기 위해 지리 태그가 부여된 트윗의 'source' 메타데이터 필드를 분석하기 위해.
• 샌디에이고의 트위터 스트리밍 API가 정의한 경계 상자와의 비교를 통해 공간적 이질성을 식별하기 위해.
• 플랫폼 전용 소스 식별자(예: 인스타그램, 퍼스널 플랫폼)를 사용하여 비네이티브 트위터 앱에서 유래한 지리 태그가 부여된 트윗의 비율을 계산하기 위해.
• 상위 1%의 활동성이 높은 사용자가 기여한 트윗의 비율을 파악하여 사용자 활동 집중도를 측정하기 위해.
• 공간 클러스터링과 통계 분석을 적용하여 지리 태그가 부여된 트윗의 분포가 API의 지리적 범위와 어떻게 관련되어 있는지 평가하기 위해.
• 공간 분석 이전에 데이터 노이즈와 시스템 오류를 걸러내기 위한 다단계 데이터 정제 파이프라인을 제안하기 위해.

실험 결과

연구 질문

• RQ1 트위터 스트리밍 API에서 지리 태그가 부여된 트윗 중 소수의 매우 활동적인 사용자가 얼마나 많은 비율을 차지하는가?
• RQ2 'source' 메타데이터 필드에 따른 스팸, 봇, 또는 사이보그 활동의 존재가 얼마나 심각한가?
• RQ3 지리 태그가 부여된 트윗 중 얼마나 많은 비율이 API의 지정된 경계 상자 외부에 위치해 있는가? 이는 시스템 오류 또는 잘못된 설정을 시사하는가?
• RQ4 인스타그램, 퍼스널 플랫폼 등 어떤 플랫폼이 네이티브 트위터 앱 외부에서 주로 지리 태그가 부여된 트윗을 생성하는가?
• RQ5 지리 태그가 부여된 트위터 데이터의 신뢰성을 향상시키기 위해 적용 가능한 체계적인 다단계 데이터 정제 절차는 무엇인가?

주요 결과

• 지역 트위터 사용자 중 1%가 전체 지리 태그가 부여된 트윗의 16%를 생성하여 극도로 높은 사용자 활동 집중도를 보임.
• 샌디에이고에서 57.3%의 지리 태그가 부여된 트윗이 트위터 스트리밍 API의 지정된 경계 상자 외부에 위치해 있어 중대한 시스템 수준의 공간 오류를 시사함.
• 메타데이터 필드를 통한 분석 결과, 샌디에이고에서는 29.42%, 콜럼버스에서는 53.47%의 지리 태그가 부여된 트윗이 데이터 노이즈(스팸 봇, 봇, 사이보그)로 구성됨.
• 지리 태그가 부여된 트윗의 대부분은 네이티브 iOS 또는 안드로이드 트위터 앱에서 생성된 것이 아니라, 인스타그램, 퍼스널 플랫폼 등의 제3자 플랫폼에서 유래함.
• 지리 태그가 부여된 트윗의 상당수는 트위터 외부 애플리케이션에서 유래하여 데이터 기원과 신뢰성에 대한 우려를 제기함.
• 본 연구는 향후 공간 분석 프로젝트의 정확도 향상을 위해 데이터 노이즈와 공간 이질성을 걸러내기 위한 다단계 데이터 정제 절차를 제안함.