[논문 리뷰] Causal Inference for Early Detection of Pathogenic Social Media Accounts

Hamidreza Alvari, Paulo Shakarian|arXiv (Cornell University)|2018. 06. 26.

Complex Network Analysis Techniques참고 문헌 6인용 수 3

한 줄 요약

이 논문은 사용자 행동 로그에서 시간 감쇠 인과성 점수와 공동체 구조를 활용하여 병원성 소셜미디어(PSM) 계정의 조기 탐지용 인과 추론 프레임워크를 제안한다. 네트워크 구조, 콘텐츠, 캐스케이드 경로에 의존하지 않고도 활동 후 10일 이내에 PSM을 0.63의 F1 점수와 84%의 정밀도로 탐지한다.

ABSTRACT

Pathogenic social media accounts such as terrorist supporters exploit communities of supporters for conducting attacks on social media. Early detection of PSM accounts is crucial as they are likely to be key users in making a harmful message "viral". This paper overviews my recent doctoral work on utilizing causal inference to identify PSM accounts within a short time frame around their activity. The proposed scheme (1) assigns time-decay causality scores to users, (2) applies a community detection-based algorithm to group of users sharing similar causality scores and finally (3) deploys a classification algorithm to classify accounts. Unlike existing techniques that require network structure, cascade path, or content, our scheme relies solely on action log of users.

연구 동기 및 목표

• 메시지가 확산되기 전에 해로운 오락성 정보를 퍼뜨리는 병원성 소셜미디어(PSM) 계정의 조기 탐지 과제를 해결하기 위해.
• 네트워크 구조, 콘텐츠, 캐스케이드 경로에 의존하는 기존 방법의 한계를 극복하기 위해, 이는 종종 이용 불가능하거나 신뢰할 수 없기 때문이다.
• 사용자 행동 로그에만 기반하여 실시간으로 PSM 계정을 식별할 수 있는 인과 기반 탐지 프레임워크를 개발하기 위해.
• 공동체 내에서 인과성 점수가 공동체 간보다 더 집중되어 있는지 여부를 조사하여 분류 정확도를 향상시키기 위해.
• 초기 활동 이후 짧은 시간 윈도우 내에 조기에 간섭할 수 있도록, PSM 계정을 조기에 탐지하기 위해.

제안 방법

• 슬라이딩 윈도우와 지수 감쇠 함수를 사용하여 시간 감쇠 인과 지표를 계산하여 시간에 따라 변화하는 인과적 영향을 모델링한다.
• Kleinberg-Mishra 인과성 지표를 적용하여 사용자의 메시지 확산에 대한 영향을 수량화하고, $\xi_{K\&M}^{I}(i) = \frac{1}{|\mathcal{T}|}\sum_{t'\in\mathcal{T}}e^{-\sigma(t-t')}\times\epsilon_{K\&M}(i)$를 통해 시간 감쇠에 따라 조정한다.
• 동시 게시 행동에서 유저-행동 그래프를 구축하며, 동일한 메시지를 시간 순서대로 게시한 사용자 간에 간선을 연결한다.
• Louvain 알고리즘을 사용하여 행동 기반 그래프에서 공동체를 탐지하여 유사한 인과성 패턴을 가진 사용자 군집을 식별한다.
• 공동체 내 인과성 점수가 공동체 간 점수보다 유의미하게 높은지 확인하기 위해 이중표본 t-검정을 수행한다.
• 인과성 점수와 공동체 구조를 분류 파ipeline에 통합하여 PSM 탐지에 활용하며, 지도학습과 근접도 기반 점수를 사용한다.

실험 결과

연구 질문

• RQ1 시간 감쇠 인과성 지표가 행동 로그만으로 병원성 소셜미디어(PSM) 계정과 정상 사용자를 효과적으로 구분할 수 있는가?
• RQ2 동일 공동체 내 사용자와 다른 공동체 간 사용자 간의 인과성 점수 분포에 유의미한 차이가 있는가?
• RQ3 행동 로그에서 유도된 공동체 구조가 개별 인과성 점수보다 PSM 계정 탐지 정확도를 향상시키는가?
• RQ4 제안된 프레임워크는 초기 활동 이후 첫 10일 이내에 PSM 계정을 얼마나 빠르고 효과적으로 탐지하는가?
• RQ5 인과성과 공동체 구조의 통합은 네트워크 구조나 콘텐츠 분석에 의존하는 기준 방법보다 우월한가?

주요 결과

• 시간 감쇠 인과성 지표만으로도 지도학습을 사용하여 PSM 계정 탐지에 F1 점수 0.63을 달성했다.
• 감쇠 기반 인과성 특징을 사용한 지도학습은 초기 활동 후 첫 10일 이내에 PSM 계정의 71%를 탐지했다.
• 공동체 탐지 기반 프레임워크는 초기 활동 후 10일 이내에 PSM 계정을 탐지하는 데 정밀도 0.84를 달성했다.
• 초기 탐지 윈도우에서 잘못 분류된 계정들은 이후 10일 이내에 성공적으로 탐지되어 강력한 시간적 복구 능력을 보였다.
• 이중표본 t-검정은 귀무가설을 기각했으며 ($p$-값 = 4.945e-17), 이는 공동체 내 인과성 점수가 공동체 간보다 유의미하게 높다는 것을 확인했다.
• 프레임워크는 네트워크 구조, 콘텐츠, 캐스케이드 경로 데이터를 요구하지 않고 사용자 행동 로그만으로도 효과적으로 작동한다.