[논문 리뷰] Automated Crowdturfing Attacks and Defenses in Online Review Systems

Yuanshun Yao, Bimal Viswanath외 3명|arXiv (Cornell University)|2017. 08. 27.

Spam and Phishing Detection참고 문헌 5인용 수 12

한 줄 요약

이 논문은 RNN을 활용하여 실감나는 위조 온라인 리뷰를 자동으로 생성하는 딥러닝 기반 방법을 제안한다. 이는 확장 가능하고 저비용이며 탐지되지 않는 의견 스팸을 가능하게 한다. 연구 결과, 이러한 AI로 생성된 리뷰는 자동 검출기와 인간 심사자 모두를 회피하며, 높은 실제 유용성 인식을 유지함을 입증한다. 또한 RNN 텍스트 생성의 손실성 특성을 활용해 합성 콘텐츠를 탐지하는 새로운 방식의 방어 기법을 제시한다.

ABSTRACT

Malicious crowdsourcing forums are gaining traction as sources of spreading misinformation online, but are limited by the costs of hiring and managing human workers. In this paper, we identify a new class of attacks that leverage deep learning language models (Recurrent Neural Networks or RNNs) to automate the generation of fake online reviews for products and services. Not only are these attacks cheap and therefore more scalable, but they can control rate of content output to eliminate the signature burstiness that makes crowdsourced campaigns easy to detect. Using Yelp reviews as an example platform, we show how a two phased review generation and customization attack can produce reviews that are indistinguishable by state-of-the-art statistical detectors. We conduct a survey-based user study to show these reviews not only evade human detection, but also score high on "usefulness" metrics by users. Finally, we develop novel automated defenses against these attacks, by leveraging the lossy transformation introduced by the RNN training and generation cycle. We consider countermeasures against our mechanisms, show that they produce unattractive cost-benefit tradeoffs for attackers, and that they can be further curtailed by simple constraints imposed by online service providers.

연구 동기 및 목표

• 딥러닝 모델을 활용해 전자상거래 및 리뷰 플랫폼에서 실감나는 위조 온라인 리뷰를 자동 생성할 수 있는지 탐색하기.
• AI로 생성된 리뷰가 최신 통계적 검출기와 인간 심사자에 의해 탐지되는지 평가하기.
• RNN 기반 텍스트 생성 과정에 내재된 손실성 특성을 활용해 합성 리뷰를 탐지하는 새로운 방어 기법 개발하기.
• 모델 복잡도를 높여 탐지 회피를 尝시는 공격자들의 비용-편익 트레이드오프 분석하기.
• 사용자 연구를 통해 생성된 리뷰의 실제 유용성 평가하기 — 실제 인간 리뷰와 비교하여 분석하기.

제안 방법

• 두 단계 접근법: 첫 번째로, 실제 Yelp 리뷰 데이터를 기반으로 RNN 기반 언어 모델을 훈련시어 자연어 패턴의 분포를 학습하기.
• 두 번째로, 특정 제품 특성(예: 요리 종류, 가격, 서비스 품질 등)에 따라 생성된 리뷰를 조정하여 현실성과 맥락적 관련성 향상시키기.
• 생성 과정에서 온도 하이퍼파라미터를 제어하여 다양성과 유창성을 조절하여 다양한 수준의 일관성과 구체성을 가진 리뷰 생성하기.
• 통계적 방어 기법 적용: RNN 훈련 및 추론 과정에서 유도된 미세한 왜곡을 탐지하기 위해 생성된 리뷰의 문자 수준 분포를 실제 리뷰와 비교하기.
• 기계학습 분류기 사용: RNN 생성 주기에서 발생하는 손실성 변환 특성을 기반으로 합성 리뷰를 탐지하기. 특히 문자 수준 엔트로피와 분포 이탈에 초점 맞추기.
• 600명의 참가자가 참여한 사용자 연구 수행: 생성된 리뷰의 인간 탐지 정확도와 실제 유용성 평가를 실제 리뷰와 비교 분석하기.

실험 결과

연구 질문

• RQ1 RNN 기반 언어 모델은 자동 검출기에게 실시간으로 구분되지 않는 위조 온라인 리뷰를 생성할 수 있는가?
• RQ2 사용자들은 얼마나 잘 AI로 생성된 리뷰를 탐지할 수 있으며, 그들의 실제 유용성 평가는 어떠한가?
• RQ3 모델 복잡도를 높여 탐지 회피를 尝하는 공격자에게는 어떤 비용-편익 트레이드오프가 존재하는가?
• RQ4 RNN 훈련 및 생성 과정의 손실성 특성을 활용해 자동으로 캐스트링 공격을 방지하는 효과적이고 확장 가능한 방어 기법을 구축할 수 있는가?
• RQ5 온라인 플랫폼에서 부과하는 제약 조건은 이러한 공격의 실현 가능성과 확장성에 어떤 영향을 미치는가?

주요 결과

• RNN 모델이 생성한 AI 리뷰는 최신 통계적 검출기에게도 실제 리뷰와 구분되지 않아 고도의 탐지 회피 성능을 보였다.
• 600명의 참가자가 참여한 사용자 연구에서 인간 심사자들은 합성 리뷰를 신뢰성 있게 탐지하지 못했으며, 이는 인간 인식에 대한 강력한 회피 성능을 의미한다.
• 생성된 리뷰는 실제 리뷰와 유사한 수준의 실제 유용성 지표를 확보하여 뛰어난 현실감 있는 설득력을 입증했다.
• 제안된 방어 기법은 RNN 훈련 및 생성 과정에서 발생하는 문자 수준 분포 이탈을 분석하여 합성 리뷰를 성공적으로 탐지했다.
• 탐지 회피를 위해 모델 복잡도를 높이면 수익 감소 효과가 나타나고 자원 소모가 크게 증가하여 이러한 공격이 더 이상 타당성이 떨어지게 되었다.
• 단순한 플랫폼 수준의 제약, 예를 들어 속도 제한이나 입력 검증 조치는 자동 캐스트링 공격의 효과를 추가로 감소시킬 수 있다.