[논문 리뷰] Online Deception Detection Refueled by Real World Data Collection

Wenlin Yao, Zeyu Dai외 2명|arXiv (Cornell University)|2017. 07. 28.

Spam and Phishing Detection참고 문헌 23인용 수 5

한 줄 요약

이 논문은 사회적 네트워크 분석을 활용해 조작된 리뷰 캠페인을 식별함으로써 대규모 실세계 위성 리뷰 수집을 위한 확장 가능한 방법을 제안한다. 리뷰어-리뷰어 상호작용 그래프를 활용해 30개 이상의 제품 영역에서 10,000건 이상의 위선적 리뷰를 수집하였으며, 일반화된 언어적 특징—특히 광고어법과 문장 복잡도—가 다양한 도메인 간 탐지 성능을 크게 향상시킴을 입증하였다. 다양한 데이터로 훈련할 경우 F-스코어는 리뷰어 유형의 일관성에 따라 30%에서 80%로 향상된다.

ABSTRACT

The lack of large realistic datasets presents a bottleneck in online deception detection studies. In this paper, we apply a data collection method based on social network analysis to quickly identify high-quality deceptive and truthful online reviews from Amazon. The dataset contains more than 10,000 deceptive reviews and is diverse in product domains and reviewers. Using this dataset, we explore effective general features for online deception detection that perform well across domains. We demonstrate that with generalized features - advertising speak and writing complexity scores - deception detection performance can be further improved by adding additional deceptive reviews from assorted domains in training. Finally, reviewer level evaluation gives an interesting insight into different deceptive reviewers' writing styles.

연구 동기 및 목표

• 온라인 위성 탐지 연구에서의 작은 인위적 데이터셋에 기인한 한계를 극복하기 위해.
• 다양한 도메인과 리뷰어로부터 위선적 리뷰를 캡처하는 확장 가능한 실세계 데이터 수집 방법을 개발하기 위해.
• 다양한 제품 도메인에 걸쳐 효과적인 일반화 가능한 언어적 특징을 특정하기 위해.
• 리뷰어별 글쓰기 스타일이 위성 탐지 성능에 미치는 영향을 평가하기 위해.
• 다양한 도메인에서의 훈련 데이터 증가가 일반화된 특징을 사용할 때조차 탐지 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 협력적인 리뷰 캠페인을 탐지하기 위해 리뷰어-리뷰어 그래프에 사회적 네트워크 분석을 적용하기 위해.
• 검출된 네트워크 패tern을 기반으로 고신뢰도의 위선적 리뷰어 및 관련 리뷰를 식별하기 위해.
• 30개 이상의 제품 도메인에서 1,540명의 리뷰어로부터 10,000건 이상의 위선적 리뷰로 구성된 데이터셋을 구축하기 위해.
• 일반화된 언어적 특징 사용: 광고어법 및 문장 복잡도 점수(예: Flesch-Kincaid, syllable counts).
• 다양한 도메인 간 훈련 및 리뷰어 수준 평가를 통한 위성 탐지 분류기 훈련 및 평가하기 위해.
• 증가하는 다양한 도메인의 훈련 데이터로 성능 향상을 평가하기 위해 학습 곡선 생성하기 위해.

실험 결과

연구 질문

• RQ1 사회적 네트워크 분석에 기반한 확장 가능한 데이터 수집 방법이 대규모 실세계 위성 리뷰 데이터셋을 성공적으로 생성할 수 있는가?
• RQ2 다양한 제품 도메인에서 위성 탐지에 가장 잘 작용하는 일반화된 언어적 특징은 무엇인가?
• RQ3 다양한 도메인에서의 위선적 훈련 데이터량 증가가 탐지 성능에 어떤 영향을 미치는가?
• RQ4 리뷰어별 글쓰기 스타일이 위성 탐지 모델의 일반화에 어느 정도의 영향을 미치는가?
• RQ5 한 유형의 위선적 리뷰어에서 훈련된 모델이 다른 유형의 리뷰어에 대해 일반화가 잘 되지 않을 수 있으며, 이는 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 30개 이상의 제품 도메인에서 1,540명의 리뷰어로부터 10,000건 이상의 위선적 리뷰를 성공적으로 수집하여 이전 데이터셋 대비 두 자리 수 증가를 이뤘다.
• 일반화된 특징—특히 광고어법과 문장 복잡도—가 다양한 도메인 간 위성 탐지 성능을 크게 향상시켰다.
• 훈련 데이터가 많을수록 성능이 지속적으로 향상됨: 같은 리뷰어 유형에서 훈련 및 테스트할 경우 F-스코어는 30%에서 80%로 상승했지만, 한 유형에서 훈련하고 다른 유형에서 테스트할 경우 성능이 떨어졌다.
• 학습 곡선은 다양한 훈련 데이터가 증가할수록 지속적인 성능 향상을 보여주었으며, 이는 확장성과 일반화의 이점을 시사한다.
• 리뷰어 수준 분석을 통해 두 가지 유형의 위선적 글쓰기 스타일을 확인했다: 하나는 짧고 홍보성 어휘를 사용하는 스타일이고, 다른 하나는 더 긴 문장과 감정 어린 표현, 개인적 참조를 포함한 스타일이다.
• 이 연구는 대규모 실세계 데이터가 글쓰기 스타일을 모델링할 때 내용보다 더 중요한 일반 규칙을 드러내기 위해 필수적임을 확인한다.