[논문 리뷰] Detecting Influence Campaigns in Social Networks Using the Ising Model

Nicolas Guenon des Mesnards, Tauhid Zaman|arXiv (Cornell University)|2018. 05. 25.

Spam and Phishing Detection참고 문헌 9인용 수 5

한 줄 요약

이 논문은 이징 모델을 활용하여 이질성(heterophily)을 고려해 사회적 네트워크 내에서 조율된 영향력 캠페인을 탐지하는 공동 보트 탐지 알고리즘을 제안한다—즉, 봇이 서로보다 인간과 더 많이 상호작용함으로써 이를 활용한다. 네트워크 구조와 봇 레이블을 이징 모델로 모델링함으로써 최대우도추정을 최소 컷 문제로 환원시켜 효율적이고 확장 가능한 탐지가 가능해지며, 개별 기반 방법보다 우수하고 뉴스 계정에서의 잘못된 경고(false positive)도 감소시킨다.

ABSTRACT

We consider the problem of identifying coordinated influence campaigns conducted by automated agents or bots in a social network. We study several different Twitter datasets which contain such campaigns and find that the bots exhibit heterophily - they interact more with humans than with each other. We use this observation to develop a probability model for the network structure and bot labels based on the Ising model from statistical physics. We present a method to find the maximum likelihood assignment of bot labels by solving a minimum cut problem. Our algorithm allows for the simultaneous detection of multiple bots that are potentially engaging in a coordinated influence campaign, in contrast to other methods that identify bots one at a time. We find that our algorithm is able to more accurately find bots than existing methods when compared to a human labeled ground truth. We also look at the content posted by the bots we identify and find that they seem to have a coordinated agenda.

연구 동기 및 목표

• 기존의 개별 기반 탐지 방법으로는 회피되는 사회적 네트워크 내에서 봇이 수행하는 조율된 영향력 캠페인을 탐지하는 데 도전하는 것.
• 개별 계정 분석으로는 탐지할 수 없는 봇 간의 공동 행동 패턴을 식별하는 것.
• 개별 계정 특징이 아닌 네트워크 구조에 기반한 확장성 있고 효율적인 탐지 방법을 개발하는 것.
• 조율된 봇과 뉴스 방송국과 같은 합법적인 고활동 계정 간의 차이를 구분하여 잘못된 경고를 줄이는 것.
• 공유된 해시태그와 재트윗 행동 분석을 통해 탐지된 봇의 배후 목적을 규명하는 것.

제안 방법

• 통계역학의 이징 모델을 사용해 사회적 네트워크와 봇 레이블을 모델링하며, 계정 간의 상호작용 패턴을 포함한다.
• 에너지 항목이 이질성(heterophily)을 선호하도록 확률 모델을 적용—즉, 봇은 다른 봇보다 인간과 더 많이 상호작용하도록 설계된다.
• 봇 레이블의 최대우도추정을 그래프 내 최소 컷 문제로 환원시켜 네트워크 흐름 알고리즘을 통해 효율적인 계산이 가능하도록 한다.
• 개별 계정 특징에 대한 의존도를 최소화하기 위해 정보가 없는 노드 에너지를 사용하여 구조적 상호작용에 초점을 맞춘다.
• 최소 컷 문제를 해결하여 네트워크 내 모든 계정에 동시에 봇 레이블을 할당함으로써 공동 탐지가 가능하다.
• 인간 레이블 기반 참값을 사용해 결과를 검증하고, ROC 곡선과 AUC 지표를 활용해 BotOrNot와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 현대의 영향력 캠페인 봇은 개별 계정 특징이 아닌 네트워크 수준의 상호작용을 통해 조율된 행동을 보이며, 이를 탐지할 수 있는가?
• RQ2 이징 모델은 사회적 네트워크에서 봇 상호작용의 구조적 패턴, 특히 이질성을 효과적으로 포착할 수 있는가?
• RQ3 최소 컷 기반 공동 탐지가 정확도와 잘못된 경고 비율 측면에서 개별 봇 탐지 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 공유된 콘텐츠와 해시태그 사용 분석을 통해 탐지된 봇들이 조율된 목적과 연결될 수 있는가?
• RQ5 이 알고리즘이 다양한 지리정치적 사건과 봇 캠페인을 포함한 다양한 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 이징 모델 기반 알고리즘은 대부분의 데이터셋에서 BotOrNot보다 높은 AUC(예: BLM 2016에서 0.91)를 달성하지만, BLM 2015에서는 조율이 덜 두드러져 예외적으로 낮았다.
• 최대 545,000개의 계정을 포함한 네트워크에서 알고리즘이 수분에서 수시간 내에 실행되며, 현대적 대안보다 훨씬 빠르며, 10만 개 계정당 약 3.5초의 계산 비용을 기록했다.
• 높은 활동도로 인해 BotOrNot에서 자주 잘못 분류되는 검증된 뉴스 방송국(예: CNN, NYT)의 잘못된 경고를 줄였는데, 이는 게시 행동이 아닌 상호작용 구조에 기반하기 때문이다.
• 봇은 강한 이질성을 보이며, 다른 봇보다 인간과 상호작용 빈도가 뚜렷이 높다—이는 모델의 핵심 가정을 뒷받침한다.
• 콘텐츠 분석 결과, 봇들은 #WakeUpBritain 및 #furherMerkel 등의 해시태그를 사용해 미국 기반 갈등을 국제화시키는 특정 지리정치적 목적을 홍보하고 있음을 확인했다.
• 이 방법은 언어에 관계없이 어떤 사회적 네트워크 플랫폼(예: Facebook, Reddit, Instagram)에도 적용 가능하며, 언어나 문화 지식이 필요하지 않다.