[논문 리뷰] Exposing Paid Opinion Manipulation Trolls

Todor Mihaylov, Ivan Koychev외 2명|arXiv (Cornell University)|2021. 09. 26.

Topic Modeling참고 문헌 24인용 수 42

한 줄 요약

이 논문은 paid opinion manipulation trolls를 탐지하기 위해 다른 사람들에 의해 troll로 라벨링된 사용자로 학습하고 paid trolls에서 테스트하는 방식으로 방대한 사용자 활동 특징 세트를 활용해 trolls 대 non-trolls를 분류하는 연구이다.

ABSTRACT

Recently, Web forums have been invaded by opinion manipulation trolls. Some trolls try to influence the other users driven by their own convictions, while in other cases they can be organized and paid, e.g., by a political party or a PR agency that gives them specific instructions what to write. Finding paid trolls automatically using machine learning is a hard task, as there is no enough training data to train a classifier; yet some test data is possible to obtain, as these trolls are sometimes caught and widely exposed. In this paper, we solve the training data problem by assuming that a user who is called a troll by several different people is likely to be such, and one who has never been called a troll is unlikely to be such. We compare the profiles of (i) paid trolls vs. (ii)"mentioned" trolls vs. (iii) non-trolls, and we further show that a classifier trained to distinguish (ii) from (iii) does quite well also at telling apart (i) from (iii).

연구 동기 및 목표

• 온라인 포럼에서 유료 트롤을 감지해야 하는 필요성을 동기화하고 그들의 행동 패턴을 이해한다.
• 제한된 라벨의 유료 트롤 데이터에도 불구하고 공개적으로 노출된 트롤을 활용해 탐지기를 학습한다.
• '언급된' 트롤로 학습된 모델이 유료 트롤 대 비트롤 일반화하는 정도를 평가한다.

제안 방법

• 활동 이력(댓글, 활성 일수, 댓글이 달린 게시물)에서 사용자 특징 벡터를 구성한다.
• 투표 기반, 유사도, 타이밍, 상호작용 특징에 걸친 338개의 스케일링된 특징과 비스케일링 버전을 개발한다.
• RBF 커널(SVM)을 '언급된' 트롤 대 비 트롤 데이터 세트에서 학습한다(C=32, gamma=0.0078125).
• 훈련된 모델을 100+ 게시물이 있는 네 명의 알려진 유료 트롤 대 네 명의 비트롤에 대해 테스트해 유료 트롤에 대한 일반화를 평가한다.
• 특징 그룹별 차감(ablation)으로 어떤 특징이 탐지 성능을 좌우하는지 평가한다.

실험 결과

연구 질문

• RQ1 '언급된' 트롤에서 학습된 분류기가 비 트롤 중에서 유료 트롤를 식별하는 데 일반화될 수 있는가?
• RQ2 포럼 데이터에서 유료 트롤 탐지에 가장 큰 기여를 하는 특징 그룹은 무엇인가?
• RQ3 게시물 수와 트롤 정의(언급된 vs 유료)에 따라 모델 성능은 어떻게 달라지는가?

주요 결과

Features	Accuracy	Precision	Recall	F-score
All Scaled (AS)	0.88	1.00	0.75	0.86
AS - time (S)	0.75	1.00	0.50	0.67
AS - vote up/down all (S)	0.38	0.00	0.00	0.00
All Unscaled	0.50	0.00	0.00	0.00

• 모든 스케일링 특징을 사용한 경우 최고 성능으로 정확도 0.88, 정밀도 1.00, 재현율 0.75, F-점수 0.86으로 유료 트롤 대 비 트롤에서 나오다.
• 시간 관련 및 투표 기반 특징이 중요하며 이 특징들을 제거하면 정밀도/재현율이 저하되고, 투표 관련 특징을 제거하면 정밀도/재현율이 특히 중요하다(전부 제거 시 정밀도/재현율 0).
• 일반 특징 그룹은 요일, 시간 관련 특징, 근로 시간에 게시가 상당한 기여를 보이고, 반면 일부 그룹(예: 응답 상태, 유사도)은 독립적으로 영향이 제한적이다.
• 차감(ablation) 전반에서, '언급된' 트롤로 학습하면 100+ 게시물의 유료 트롤에 대해 테스트는 가능하지만 게시물이 적은 트롤(약 40개 미만)의 경우 성능은 저하된다.
• 집계된 프로필은 유료 트롤이 덜 자주 게시하지만(활동 일수 비율 낮음) 근무일/시간에 집중적으로 활동하며 댓글에 대한 부정적 투표가 비 트롤보다 높다.