[논문 리뷰] The Dark Side of Micro-Task Marketplaces: Characterizing Fiverr and Automatically Detecting Crowdturfing

Kyumin Lee, Steve Webb외 1명|arXiv (Cornell University)|2014. 06. 03.

Mobile Crowdsensing and Crowdsourcing참고 문헌 13인용 수 12

한 줄 요약

이 논문은 Fiverr를 분석하여 마이크로태스크 마켓플레이스로서의 쇼트터핑(crowdturfing)을 가능하게 하고, 악성 작업을 97.35%의 정확도로 감지하는 기계학습 분류기를 개발하며, 실제로는 산업용 Fiverr 기반으로 수천 명의 인위적 트위터 팔로워가 생성되었고, 이는 트위터의 보안 시스템이 대규모로 이를 감지하지 못했다는 점을 입증한다.

ABSTRACT

As human computation on crowdsourcing systems has become popular and powerful for performing tasks, malicious users have started misusing these systems by posting malicious tasks, propagating manipulated contents, and targeting popular web services such as online social networks and search engines. Recently, these malicious users moved to Fiverr, a fast-growing micro-task marketplace, where workers can post crowdturfing tasks (i.e., astroturfing campaigns run by crowd workers) and malicious customers can purchase those tasks for only $5. In this paper, we present a comprehensive analysis of Fiverr. First, we identify the most popular types of crowdturfing tasks found in this marketplace and conduct case studies for these crowdturfing tasks. Then, we build crowdturfing task detection classifiers to filter these tasks and prevent them from becoming active in the marketplace. Our experimental results show that the proposed classification approach effectively detects crowdturfing tasks, achieving 97.35% accuracy. Finally, we analyze the real world impact of crowdturfing tasks by purchasing active Fiverr tasks and quantifying their impact on a target site. As part of this analysis, we show that current security systems inadequately detect crowdsourced manipulation, which confirms the necessity of our proposed crowdturfing task detection approach.

연구 동기 및 목표

• Fiverr와 같은 급속도로 성장하는 마이크로태스크 마켓플레이스에서 쇼트터핑 작업의 보편성과 특성을 조사하기 위해.
• 소셜 미디어, 검색 엔진, 사용자 트래픽을 대상으로 하는 악성 작업 유형을 식별하기 위해.
• 조작된 콘텐츠의 확산을 방지하기 위해 쇼트터핑 작업을 자동으로 감지하는 시스템을 개발하기 위해.
• 이러한 작업이 트위터와 같은 플랫폼에 미치는 실제 영향을 평가하고, 기존 보안 조치의 효과성을 점검하기 위해.

제안 방법

• 모든 카테고리에 걸쳐 46,176개의 활성 Fiverr 기반 작업을 수집하고 분석하여 판매자 및 구매자 행동 양태를 분석하기 위해.
• 제목, 설명, 가격, 카테고리 등의 작업 특성에 대한 통계 분석을 수행하여 정상 작업와 쇼트터핑 작업을 구분하기 위해.
• 수동으로 레이블링된 학습 데이터를 기반으로 언어적 및 구조적 패턴을 바탕으로 쇼트터핑 기반 작업을 감지하는 지도 학습 분류기를 구축하기 위해.
• 키워드 사용, 작업 복잡도, 판매자 신뢰도 지표 등의 특징을 사용하여 분류기를 훈련하고 평가하기 위해.
• 트위터를 대상으로 하는 활성 쇼트터핑 기반 작업을 구매하여 실제 환경에서의 조작을 시뮬레이션하고 영향도를 측정하기 위해.
• Fiverr 기반 작업을 통해 생성된 인위적 팔로워의 감지 비율을 모니터링하여 트위터의 기존 보안 시스템의 효과를 평가하기 위해.

실험 결과

연구 질문

• RQ1 Fiverr에서 가장 흔한 쇼트터핑 작업 유형은 무엇이며, 그들의 특징은 무엇인가요?
• RQ2 기반 작업 메타데이터 및 콘텐츠를 바탕으로 기계학습 분류기가 쇼트터핑 작업을 자동으로 감지하는 데 얼마나 효과적인가요?
• RQ3 쇼트터핑 작업이 트위터와 같은 소셜 미디어 플랫폼에 실제 영향을 미치는 정도는 어떠한가요?
• RQ4 기존 보안 시스템이 타깃 플랫폼에서의 대규모 조작을 얼마나 잘 감지하는가요?

주요 결과

• 제안된 쇼트터핑 감지 분류기는 악성 작업와 정상 작업를 구분하는 데 97.35%의 정확도를 달성하였다.
• 검출된 총 19,904개의 쇼트터핑 기반 작업 중 70.7%는 소셜 미디어를 대상으로 한 작업이었고, 27.3%는 검색 엔진을 대상으로 한 작업이었으며, 2%는 사용자 트래픽을 대상으로 한 작업이었다.
• 구매한 Fiverr 기반 작업을 통해 트위터에서 수천 명의 인위적 팔로워가 성공적으로 생성되었으며, 이는 테스트 계정의 영향력을 크게 증가시켰다.
• 두 달 후, 트위터의 보안 시스템은 Fiverr 기반 작업을 통해 생성된 인위적 팔로워의 24.6%만 감지했으며, 이는 감지 능력이 열악하다는 것을 시사한다.
• 본 연구는 현재 보안 시스템이 대규모로 조작된 콘텐츠를 충분히 감지하지 못하며, 작업 마켓플레이스 수준에서 사전 감지가 필수적임을 확인한다.
• 사례 연구를 통해 소셜 미디어, 검색 엔진, 트래픽 조작 기반 작업에서 각각 고유한 행동 양태와 언어적 패턴을 확인하였으며, 이는 효과적인 분류를 가능하게 하였다.