[논문 리뷰] Has the Online Discussion Been Manipulated? Quantifying Online Discussion Authenticity within Online Social Media

Aviad Elyashar, Jorge Bendahan외 1명|arXiv (Cornell University)|2017. 08. 09.

Spam and Phishing Detection참고 문헌 17인용 수 10

한 줄 요약

이 논문은 사용자 계정을 알려진 악성 사용자 및 정상 사용자와 비교하여 다수의 유사도 함수를 사용해 소셜 미디어에서의 온라인 토론의 진정성 정도를 정량화하는 유사도 기반 방법을 제안한다. 수동으로 레이블이 부여된 트위터 데이터셋을 사용하여, 백오프워즈 접근 방식이 가장 높은 성능을 보였으며(AUC ≈ 0.99, F1 ≈ 0.94), 위조 토론을 효과적으로 탐지할 수 있었다. 이는 크라우드터핑 캠페인 탐지에 기여한다.

ABSTRACT

Online social media (OSM) has a enormous influence in today's world. Some individuals view OSM as fertile ground for abuse and use it to disseminate misinformation and political propaganda, slander competitors, and spread spam. The crowdturfing industry employs large numbers of bots and human workers to manipulate OSM and misrepresent public opinion. The detection of online discussion topics manipulated by OSM \emph{abusers} is an emerging issue attracting significant attention. In this paper, we propose an approach for quantifying the authenticity of online discussions based on the similarity of OSM accounts participating in the discussion to known abusers and legitimate accounts. Our method uses several similarity functions for the analysis and classification of OSM accounts. The proposed methods are demonstrated using Twitter data collected for this study and previously published \emph{Arabic honeypot dataset}. The former includes manually labeled accounts and abusers who participated in crowdturfing platforms. Evaluation of the topic's authenticity, derived from account similarity functions, shows that the suggested approach is effective for discriminating between topics that were strongly promoted by abusers and topics that attracted authentic public interest.

연구 동기 및 목표

• 소셜 미디어에서 크라우드터핑 캠페인에 의해 조작된 온라인 토론을 탐지하는 데 도전하는 것.
• 악성 사용자 및 정상 사용자와의 계정 유사도를 측정하여 온라인 토론의 진정성 정도를 정량화하는 방법을 개발하는 것.
• 반복적이고 은폐된 악성 사용자(진정한 사용자 행동을 모방함)를 탐지하는 데 한계를 극복하는 것.
• 분석가들이 정치적, 상업적, 사회적 주제에서 진정한 대중 관심과 조작 여부를 구분할 수 있도록 하는 것.

제안 방법

• 이 방법은 코사인, 재커르드, 디크, TF-IDF를 적용한 재커르드, 백오프워즈의 다섯 가지 유사도 함수를 사용해, 레이블이 부여된 악성 사용자 및 정상 사용자 프로필과 사용자 콘텐츠(트윗)를 비교한다.
• 계정의 진정성은 악성 사용자 및 정상 사용자와의 유사도의 가중 조합을 통해 계산되며, 0~1 범위의 연속적인 진정성 점수로 표현된다.
• 클러스터링과 수동 레이블링을 적용하여 데이터셋 내에서 악성 사용자 및 정상 사용자 계정을 식별하고 검증한다.
• 주제의 진정성은 개별 계정의 진정성 점수를 집계하여 평가되며, 진정성 수준에 따른 분포를 보여주는 도넛 차트로 시각화된다.
• 성능 평가를 위해 두 개의 커스터마이징된 트위터 데이터셋(605개 레이블된 계정, 1,006명의 악성 사용자)과 아랍어 허니팟 데이터셋을 사용한다.
• 성능 평가는 세 개의 데이터셋에서 AUC 및 F1 점수를 사용하며, ANOVA 분석을 통해 조작된 주제와 진정한 주제 간의 진정성 분포가 뚜렷하게 다름을 확인한다.

실험 결과

연구 질문

• RQ1 유사도 함수는 온라인 소셜 미디어에서 악성 사용자와 정상 사용자 계정을 효과적으로 구분할 수 있는가?
• RQ2 악성 사용자가 은폐 기법이나 반복적 자동화 행동을 사용할 경우, 제안된 방법이 온라인 토론 조작을 얼마나 잘 탐지할 수 있는가?
• RQ3 다양한 데이터셋에서 가장 강력하고 정확한 계정 진정성 분류를 제공하는 유사도 함수는 무엇인가?
• RQ4 집계된 계정 진정성 점수는 크라우드터퍼에 의해 조작된 주제와 진정한 대중 관심을 반영하는 주제를 신뢰성 있게 구분할 수 있는가?

주요 결과

• 백오프워즈 유사도 함수가 모든 데이터셋에서 평균 AUC(0.99)와 F1(0.94) 점수를 기록하며, 코사인, 재커르드, 디크, TF-IDF 기반 재커르드 함수를 모두 능가했다.
• 검증된 악성 사용자 데이터셋에서는 거의 최고 성능을 기록했으며(AUC ≈ 0.99, F1 ≈ 0.94), 제공된 봇 유사 계정의 단순하고 균일한 행동 탓에 가능했다.
• ANOVA 분 析을 통해 재정적 또는 정치적 관심이 높은 주제(조작에 취약함)와 재정적 관심이 낮은 주제(주로 진정성 있음) 간의 차이를 명확히 구분할 수 있었다.
• 진정성 분포의 시각화 결과, 조작된 주제(예: 아마존, 입찰)에서는 소수의 높은 진정성 점수를 가진 악성 사용자가 토론을 지배하는 것으로 나타났고, 진정한 주제(예: 온라인 지원)에서는 정당성이 더 균일하게 분포되어 있었다.
• 레이블가 된 악성 사용자 수가 적더라도, 클러스터링과 유사도 분석을 통해 조작된 주제를 효과적으로 탐지할 수 있었다.
• 이 방법은 강력한 일반화 능력을 보였으며, 익명화된 데이터를 포함한 공개된 아랍어 허니팟 데이터셋을 포함한 여러 데이터셋에서 일관된 성능을 기록했다.