[논문 리뷰] Towards Automatic Bot Detection in Twitter for Health-related Tasks

Anahita Davoudi, Ari Z Klein외 2명|PubMed|2019. 09. 29.

Spam and Phishing Detection참고 문헌 27인용 수 5

한 줄 요약

이 논문은 건강 관련 트위터 데이터를 위한 개선된 봇 탐지 시스템을 제안하며, Botometer에 도메인 특화 기능과 기울기 부스팅 분류기를 추가하여 임신 관련 사용자 집단에서 비인간 계정을 식별하는 데 F1 스코어 0.700을 달성하였고, 원래 시스템의 0.361 스코어보다 크게 향상되었다.

ABSTRACT

With the increasing use of social media data for health-related research, the credibility of the information from this source has been questioned as the posts may not from originating personal accounts. While automatic bot detection approaches have been proposed, none have been evaluated on users posting health-related information. In this paper, we extend an existing bot detection system and customize it for health-related research. Using a dataset of Twitter users, we first show that the system, which was designed for political bot detection, underperforms when applied to health-related Twitter users. We then incorporate additional features and a statistical machine learning classifier to improve bot detection performance significantly. Our approach obtains F1-scores of 0.7 for the "bot" class, representing improvements of 0.339. Our approach is customizable and generalizable for bot detection in other health-related social media cohorts.

연구 동기 및 목표

• 정치 봇 탐지 시스템인 Botometer가 건강 관련 트위터 사용자 데이터에 적용되었을 때의 성능을 평가하는 것.
• 사용자 행동 및 콘텐츠 패턴의 차이로 인해 일반 목적의 봇 탐지 도구가 건강 분야에서 성능이 떨어지는 문제를 해결하는 것.
• 도메인 특화 기능과 기계 학습 분류기를 통합하여 건강 관련 소셜 미디어에서의 봇 탐지 정확도를 향상시키는 것.
• 건강 중심 소셜 미디어 연구를 위한 맞춤형이고 일반화 가능한 봇 탐지 프레임워크를 구축하는 것.
• 재현 가능성과 향후 건강 관련 봇 탐지 연구를 위해 공개된 학습 데이터셋과 분류 코드를 제공하는 것.

제안 방법

• 임신을 공개적으로 선언한 10,417명의 트위터 사용자 데이터셋을 확보하였으며, 두 명의 전문 평가자가 '봇', '비봇', 또는 '사용 불가'로 수작업 레이블링을 하였고, 상당한 일치도를 보였음 (카파 = 0.93).
• 학습 및 테스트에 사용하기 위해 '봇' 또는 '비봇'으로 레이블링된 8,262명의 사용자를 유지하였으며, 클래스 분포를 유지하기 위해 80/20 비율의 계층적 분할을 실시함.
• Botometer의 기존 기능에 더하여 도메인 특화 기능을 추가: 프로필 사진 얼굴 검출, 사용자 이름에 이름 존재 여부, 트윗 콘텐츠 기반 기능(예: 정서 분석 및 언어적 복잡성).
• Botometer 점수와 새로 유도된 기능을 모두 사용하여 기울기 부스팅(GB) 분류기를 훈련시어 탐지 성능을 향상시킴.
• 보류된 테스트 세트(1,652명)에서 모델 성능을 평가하였으며, 각 클래스의 정밀도, 재현도, F1 스코어를 보고함.
• 평가자 간 일치도를 평가하고 레이블링 신뢰성을 확보하기 위해 코헨의 카파를 사용함.

실험 결과

연구 질문

• RQ1 일반 목적의 정치 봇 탐지 시스템(Botometer)이 건강 관련 트위터 사용자 데이터에 적용되었을 때 성능은 어떠한가?
• RQ2 건강 관련 소셜 미디어 행동에 특화된 추가 기능은 무엇이며, 봇 탐지 성능 향상에 기여하는가?
• RQ3 Botometer 점수와 도메인 특화 기능의 조합을 기반으로 훈련된 기계 학습 분류기가 건강 분야의 봇 탐지에서 F1 스코어를 유의미하게 향상시킬 수 있는가?
• RQ4 특히 기관 또는 지원 그룹을 대표하는 봇을 분류하는 데 주요 과제는 무엇인가?
• RQ5 제안된 방법은 다른 건강 관련 소셜 미디어 사용자 집단에 대해 얼마나 일반화되고 맞춤화될 수 있는가?

주요 결과

• 원래 Botometer 시스템은 건강 관련 트위터 데이터에 적용되었을 때 '봇' 클래스에 대해 F1 스코어 0.361을 기록하였으며, 정치적 맥락에서의 일반화가 건강 분야에선 성공하지 못함을 시사함.
• 프로필 사진 얼굴 검출, 사용자 이름에 이름 존재 여부, 콘텐츠 기반 언어적 특징 등 도메인 특화 기능을 추가함으로써 탐지 성능이 유의미하게 향상됨.
• Botometer 점수와 확장된 기능을 모두 사용한 최종 기울기 부스팅 분류기는 '봇' 클래스에 대해 F1 스코어 0.700을 달성하였으며, 기준 모델 대비 0.339 향상됨.
• 모델은 '봇' 클래스에 대해 높은 정밀도(0.985)와 중간 수준의 재현도(0.724)를 기록하여 진짜 봇을 강력하게 식별하면서도 상당 부분의 봇을 포괄함.
• 거짓 음성은 '봇'의 넓은 정의로 인해 인간이 관리하는 콘텐츠를 가진 공식적인 건강 기관, 포럼, 지원 그룹까지 포함하기 때문임.
• 본 연구는 공개된 학습 데이터셋과 코드를 제공하여 향후 건강 관련 소셜 미디어 연구에서의 재현성과 방법의 확장 가능성을 보장함.