[논문 리뷰] Tweets as impact indicators: Examining the implications of automated bot accounts on Twitter

Stefanie Haustein, Timothy D. Bowman외 4명|arXiv (Cornell University)|2014. 10. 15.

scientometrics and bibliometrics research인용 수 23

한 줄 요약

이 논문은 자동화된 트위터 봇이 arXiv 프리프린트를 홍보하면서 앨트메트릭스에 어떤 영향을 미치는지 분석하여, 봇이 최소한의 참여를 동반한 막대한 수의 트윗을 생성함으로써 원시 트윗 수가 학술 평가에서 영향력 지표로 신뢰할 수 있는지에 대한 우려를 제기한다.

ABSTRACT

This brief communication presents preliminary findings on automated Twitter accounts distributing links to scientific papers deposited on the preprint repository arXiv. It discusses the implication of the presence of such bots from the perspective of social media metrics (altmetrics), where mentions of scholarly documents on Twitter have been suggested as a means of measuring impact that is both broader and timelier than citations. We present preliminary findings that automated Twitter accounts create a considerable amount of tweets to scientific papers and that they behave differently than common social bots, which has critical implications for the use of raw tweet counts in research evaluation and assessment. We discuss some definitions of Twitter cyborgs and bots in scholarly communication and propose differentiating between different levels of engagement from tweeting only bibliographic information to discussing or commenting on the content of a paper.

연구 동기 및 목표

• 트위터에서 과학 논문을 홍보하는 데 있어 자동화된 봇 활동의 정도와 성격을 평가하기 위해.
• 앨트메트릭스, 특히 학술 영향력을 측정하는 데에 봇이 생성한 트윗의 영향을 평가하기 위해.
• 봇 계정 간의 참여 수준을 구분하기 위해, 예를 들어 참고문헌 데이터 공유와 콘텐츠 논의 사이의 차이를 분석하기 위해.
• 모든 트윗이 학술 평가에서 의미 있는 학술적 주목을 의미한다는 가정을 도전하기 위해.
• 학술 커뮤니케이션 맥락에서 봇과 사이보그를 위한 개선된 정의와 분류 체계를 제안하기 위해.

제안 방법

• 정의된 기간 동안 arXiv 프리프린트에 링크하는 트윗 샘플을 수집하고 분석하였다.
• 높은 트윗 빈도, 반복적인 콘텐츠, 상호작용 부족 등의 행동 패턴을 기반으로 자동화된 봇 계정을 식별하였다.
• 단순한 참고문헌 메타데이터 리트윗에서부터 논문 콘텐츠와의 더 복잡한 상호작용에 이르기까지 봇 활동을 계층적으로 분류하였다.
• 시기, 양, 참여 지표 측면에서 인간 사용자와의 봇 행동을 비교하기 위해 통계 분석을 사용하였다.
• 트윗의 의미적 콘텐츠를 평가하고 비인간적 패턴을 탐지하기 위해 자연어 처리 기법을 적용하였다.
• 수동적 공유와 활발한 학술 논평 사이의 차이를 구분할 수 있는 봇 참여 수준의 분류 체계를 제안하였다.

실험 결과

연구 질문

• RQ1 자동화된 트위터 봇이 arXiv의 과학 논문을 언급하는 트윗 수에 얼마나 기여하는가?
• RQ2 이 봇들의 행동 패턴은 일반적인 소셜 미디어 봇이나 인간 사용자와 어떻게 다를까?
• RQ3 봇이 생성한 트윗이 앨트메트릭스가 영향력 지표로서의 타당성에 어떤 영향을 미치는가?
• RQ4 예를 들어 메타데이터를 리트윗하는 저수준의 봇 활동과 논문 콘텐츠에 대한 논평을 하는 고수준 참여 활동을 어떻게 구분할 수 있는가?
• RQ5 학술 커뮤니케이션 맥락에서 가장 적절한 봇과 사이보그의 정의와 분류 체계는 무엇인가?

주요 결과

• 자동화된 트위터 봇은 arXiv 프리프린트에 연결하는 트윗의 상당 부분을 차지하며, 전체 트윗 수를 크게 증가시킨다.
• 봇 활동는 동일하거나 유사한 메시지를 반복적으로 고빈도로 게시하는 특징을 보이며, 일반적으로 논의 없이 참고문헌 메타데이터에 국한된다.
• 다른 사용자와의 상호작용이 거의 없으며, 답글, 좋아요, 인용 트윗이 없어 인간 사용자와 구분된다.
• 봇의 존재는 원시 트윗 수가 학술적 주목이나 영향력의 대체 지표로 신뢰할 수 없음을 약화시킨다.
• 단순히 링크를 공유하는 봇과 콘텐츠에 참여하는 봇 사이에 명확한 차이가 있으며, 이는 앨트메트릭스에서 세분화된 분류가 필요하다는 것을 시사한다.
• 본 연구는 봇 활동을 걸러내거나 분류할 수 있는 방법을 개발할 필요성이 급박히 제기됨을 강조한다. 이는 소셜 미디어 영향력 지표의 타당성을 향상시키기 위함이다.