[논문 리뷰] Don't Feed the Troll: Detecting Troll Behavior via Inverse Reinforcement Learning

Luca Luceri, Silvia Giordano외 1명|arXiv (Cornell University)|2020. 01. 28.

Spam and Phishing Detection참고 문헌 45인용 수 5

한 줄 요약

이 논문은 사회 미디어에서 트롤 계정을 탐지하기 위해 행동의 배경이 되는 동기를 추론하는 역강화학습(IRL) 접근법을 제안한다. 트롤과 비트롤 간의 행동 차이를 모델링하여 악성 계정을 분류하는 데 AUC 89.1%의 성능을 달성하며, 높은 정확도와 함께 트롤의 동기 요인에 대한 해석 가능성까지 제공한다.

ABSTRACT

Since the 2016 US Presidential election, social media abuse has been eliciting massive concern in the academic community and beyond. Preventing and limiting the malicious activity of users, such as trolls and bots, in their manipulation campaigns is of paramount importance for the integrity of democracy, public health, and more. However, the automated detection of troll accounts is an open challenge. In this work, we propose an approach based on Inverse Reinforcement Learning (IRL) to capture troll behavior and identify troll accounts. We employ IRL to infer a set of online incentives that may steer user behavior, which in turn highlights behavioral differences between troll and non-troll accounts, enabling their accurate classification. We report promising results: the IRL-based approach is able to accurately detect troll accounts (AUC=89.1%). The differences in the predictive features between the two classes of accounts enables a principled understanding of the distinctive behaviors reflecting the incentives trolls and non-trolls respond to.

연구 동기 및 목표

• 2016년 미국 선거 이후 증가하는 사회 미디어 트로링 및 조작된 캠페인의 위협을 해결하기 위해.
• 정확하고 해석 가능한 자동화된 트롤 계정 탐지 방법을 개발하기 위해.
• 역강화학습을 통해 트롤 행동을 이끄는 배경 동기를 모델링하기 위해.
• 특정 동기와 연결된 핵심 행동 특징을 식별하여 트롤 행동와 비트롤 행동를 구분하기 위해.

제안 방법

• 이 방법은 사회 미디어 사용자 행동을 설명하는 보상 함수를 추론하기 위해 역강화학습(IRL)을 사용한다.
• 사용자 행동 패턴을 관찰함으로써 참여도, 확산성, 논란 유도성 등의 온라인 인센티브 집합을 학습한다.
• 기존에 알려진 트롤 계정과 비트롤 계정의 행동 시퀀스를 비교하여 보상 구조의 차이를 추론한다.
• 추론된 보상 함수를 예측 특징으로 사용하여 탐지 작업을 분류 문제로 설정한다.
• IRL 프레임워크는 불화를 유도하거나 주목을 끄는 행동과 같은 트롤 동기와 일치하는 행동 패턴을 식별할 수 있도록 한다.
• 실제 사회 미디어 데이터를 기반으로 모델을 훈련하고 평가하여 실용성과 내구성을 확보한다.

실험 결과

연구 질문

• RQ1 사회 미디어 플랫폼에서 트롤 계정과 비트롤 계정을 구분하는 행동 패턴은 무엇인가?
• RQ2 트롤 행동을 이끄는 배경 동기는 무엇이며, 관찰 가능한 행동에서 어떻게 추론할 수 있는가?
• RQ3 역강화학습이 높은 정확도로 트롤 행동을 효과적으로 모델링하고 분류할 수 있는가?
• RQ4 트롤 사용자와 비트롤 사용자 간의 추론된 보상 함수는 어떻게 다름과 그로 인한 통찰은 무엇인가?
• RQ5 모델의 해석 가능성은 악성 온라인 행동에 대한 이해를 어느 정도 향상시킬 수 있는가?

주요 결과

• IRL 기반 방법은 트롤 계정 탐지에서 ROC 곡선 아래 면적(AUC)이 89.1%로 높은 분류 성능를 보였다.
• 추론된 보상 함수는 트롤과 일반 사용자 간을 구분하는 명확한 행동 동기를 드러냈다.
• 트롤 계정은 참여도 증폭, 논란 유도성, 빠른 콘텐츠 유포와 같은 동기와 일치하는 패턴을 보였다.
• 시기, 정서, 상호작용 패턴과 같은 특정 행동 특징이 트롤 행동의 강력한 예측 변수로 식별되었다.
• 이 방법은 특정 행동이 왜 트롤의 특징이 되는지 원칙적이고 해석 가능한 이해를 제공하여 블랙박스 탐지 방식을 넘어서는 바탕을 마련했다.
• 결과적으로 IRL은 조작된 온라인 혼란을 탐지하는 데 실용적이고 통찰력 있는 접근법임을 입증했다.