[논문 리뷰] Fake Reviews Detection through Analysis of Linguistic Features

Faranak Abri, Luis Felipe González Gutiérrez외 3명|arXiv (Cornell University)|2020. 10. 08.

Spam and Phishing Detection참고 문헌 25인용 수 11

한 줄 요약

이 논문은 자연어 처리와 기계 학습을 활용하여 언어적 특징 기반 접근법을 제안하여 가짜 온라인 리뷰를 탐지한다. 복잡성, 일관성, 문장 길이 등 15개의 언어적 특징을 분석함으로써, 가짜 리뷰는 일반적으로 더 길고 더 반복적이며 더 많은 휴지가 포함되어 있음을 확인한다. 이 연구는 단지 네 가지 핵심 특징—수사어의 수, 반복성, 휴지, 어휘 다양성—을 사용하여 79.09%의 정확도를 달성하여 이러한 언어적 신호가 강력한 구분 능력을 지닌다는 것을 입증한다.

ABSTRACT

Online reviews play an integral part for success or failure of businesses. Prior to purchasing services or goods, customers first review the online comments submitted by previous customers. However, it is possible to superficially boost or hinder some businesses through posting counterfeit and fake reviews. This paper explores a natural language processing approach to identify fake reviews. We present a detailed analysis of linguistic features for distinguishing fake and trustworthy online reviews. We study 15 linguistic features and measure their significance and importance towards the classification schemes employed in this study. Our results indicate that fake reviews tend to include more redundant terms and pauses, and generally contain longer sentences. The application of several machine learning classification algorithms revealed that we were able to discriminate fake from real reviews with high accuracy using these linguistic features.

연구 동기 및 목표

• 가짜 리뷰와 실제 리뷰를 구분하는 데 있어 언어적 특징의 효과성을 조사하는 것.
• 특징 선택 및 감소 기법을 통해 가짜 리뷰 탐지에 가장 중요한 언어적 특징을 식별하는 것.
• 높은 정확도의 분류를 위한 이러한 언어적 특징을 기반으로 여러 기계 학습 분류기의 성능을 평가하는 것.
• 향후 가짜 리뷰 탐지 분야의 연구를 지원하기 위해 새로운 데이터셋인 레스토랑 데이터셋을 기여하는 것.

제안 방법

• 연구는 음성 데이터 분석에서 유도된 15개의 언어적 특징을 텍스트 리뷰 데이터에 적응하여 분석한다.
• 특징 선택은 재귀적 특징 제거(RFE), 랜덤 포레스트(RF) 특징 중요도, Boruta, ANOVA를 사용하여 특징의 중요도를 순위화한다.
• 다층퍼셉트론(MLP)을 포함한 일곱 가지 기계 학습 분류기가 데이터셋에 대해 훈련되고 평가된다.
• 이 데이터셋은 레스토랑 데이터셋으로 명명되며, 온라인 자료에서 수집한 실제 리뷰와 가짜 리뷰로 구성되어 있다.
• 특징 간 상관관계 분석을 수행하여 모델의 수치적 불안정성을 방지하기 위해 특징 간 상호의존성을 평가한다.
• 최고의 성능을 보인 모델은 특징 선택을 통해 단지 네 가지 특징—수사어의 수, 반복성, 휴지, 어휘 다양성—을 사용한다.

실험 결과

연구 질문

• RQ1 가짜 리뷰와 실제 리뷰를 구분하는 데 가장 효과적인 언어적 특징는 무엇인가?
• RQ2 가짜 리뷰 탐지에 단지 언어적 특징을 사용할 때, 다양한 기계 학습 분류기의 성능은 어떻게 되는가?
• RQ3 각 언어적 특징이 분류 작업에서 상대적으로 중요한 정도와 의미는 무엇인가?
• RQ4 특징 간 상관관계는 로지스틱 회귀 및 RFE와 같은 모델의 안정성과 해석 가능성에 어떻게 영향을 주는가?
• RQ5 최소한의 언어적 특징 조합으로도 높은 탐지 정확도를 달성할 수 있는가? 그리고 어떤 특징이 가장 구분 능력이 강한가?

주요 결과

• 다층퍼셉트론(MLP) 분류기가 단지 네 가지 언어적 특징—수사어의 수, 반복성, 휴지, 어휘 다양성—을 사용하여 최고의 정확도 79.09%를 달성했다.
• 반복성, 휴지, 수사어의 수는 랜덤 포레스트(RF), RFE, Boruta, ANOVA 등 여러 특징 선택 방법에서 일관되게 가장 중요한 특징로 확인되었다.
• 가짜 리뷰는 실제 리뷰보다 유의미하게 더 많은 반복어와 휴지를 포함하고 있으며, 일반적으로 문장 길이가 더 길다는 것이 밝혀졌다.
• 특징 상관관계 분석을 통해 일부 특징 간 높은 상호의존성이 드러났다(예: 휴지와 문장 길이), 이는 모델의 안정성과 해석성에 영향을 줄 수 있다.
• 이 연구는 언어적 특징만으로도 합리적인 탐지 성능을 달성할 수 있음을 입증하였으며, 이전 연구에서 행동 특징과 조합했을 때 정확도가 약 20% 향상된 바 있다.
• 제안된 방법은 최소한의 영향력 있는 특징 조합을 식별함으로써 모델의 복잡성을 줄여 효율적이고 해석 가능한 가짜 리뷰 탐지에 기여한다.