[논문 리뷰] Combat AI With AI: Counteract Machine-Generated Fake Restaurant Reviews on Social Media

Alessandro Gambetti, Qiwei Han|arXiv (Cornell University)|2023. 02. 10.

Spam and Phishing Detection인용 수 6

한 줄 요약

이 논문은 검증된 엘리트 야후프 리뷰에서 유도된 인공지능 생성 가짜 레스토랑 리뷰를 기반으로 훈련된 GPT 기반 탐지 시스템을 제안하여 기존 방법보다 기계적으로 생성된 가짜 콘텐츠를 식별하는 데 뛰어난 성능을 발휘한다. 모델은 고품질의 훈련 데이터를 활용함으로써 뛰어난 성능을 달성하며, 가짜 리뷰는 더 긍정적이며 이해하기 쉬우며, 신뢰도가 낮은 사용자에 의해 작성되고, 보다 낮은 방문자 수와 연관되어 있음을 드러내어 소셜 미디어 플랫폼에서 인공지능 기반 기만의 행동적 및 구조적 패턴에 대한 새로운 통찰을 제공한다.

ABSTRACT

Recent advances in generative models such as GPT may be used to fabricate indistinguishable fake customer reviews at a much lower cost, thus posing challenges for social media platforms to detect these machine-generated fake reviews. We propose to leverage the high-quality elite restaurant reviews verified by Yelp to generate fake reviews from the OpenAI GPT review creator and ultimately fine-tune a GPT output detector to predict fake reviews that significantly outperform existing solutions. We further apply the model to predict non-elite reviews and identify the patterns across several dimensions, such as review, user and restaurant characteristics, and writing style. We show that social media platforms are continuously challenged by machine-generated fake reviews, although they may implement detection systems to filter out suspicious reviews.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 증가하는 인공지능 기반 가짜 리뷰의 도전에 대응하여 신뢰를 훼손하고 소비자 의사결정을 왜곡한다는 점을 다루기 위해.
• 기존 솔루션보다 더 높은 정확도로 기계적으로 생성된 가짜 리뷰와 진짜 리뷰를 구별할 수 있는 강력하고 정교하게 캘리브레이션된 GPT 기반 탐지기를 개발하기 위해.
• 리뷰, 사용자, 레스토랑, 글쓰기 스타일 차원에서 가짜 리뷰의 구조적, 스타일적, 행동적 패턴을 분석하기 위해.
• 가짜 리뷰와 실제 세계의 고객 유입 간의 상관관계를 조사하여, 가짜 리뷰 연구 분야에서 새로운 차원을 제공하기 위해.
• 플랫폼 및 정책 입안자들이 AI 기반 리뷰 조작을 탐지하고 완화하기 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• OpenAI의 GPT 리뷰 생성기를 사용하여 검증된 엘리트 야후프 리뷰에서 유도된 합성 가짜 리뷰 데이터셋을 기반으로 GPT-3 모델을 피팅한다.
• 피팅된 GPT 모델을 분류기로 활용하여 높은 정밀도와 재현율로 가짜 리뷰를 탐지한다.
• ANOVA를 적용하여 가짜 리뷰와 진짜 리뷰 간의 리뷰 특성(예: 정서, 길이, 난이도), 사용자 신뢰도, 레스토랑 평점, 방문자 수의 차이를 비교한다.
• SafeGraph 이동성 데이터를 활용하여 가짜 리뷰의 보급률과 실제 고객 방문 빈도 간의 상관관계를 분석한다.
• 통계 모델링을 통해 글쓰기 스타일(예: 난이도, 정서 극성)이 가짜 리뷰 탐지 및 평가된 유용성에 미치는 영향을 평가한다.
• 플랫폼에서 제거된 콘텐츠로부터의 편향을 피하기 위해, 필터링되지 않은 리뷰 데이터셋을 사용하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 AI가 생성한 가짜 리뷰는 정서, 난이도, 리뷰 길이 측면에서 인간이 작성한 진짜 리뷰와 어떻게 다를까?
• RQ2 가짜 리뷰를 올리는 사용자들은 특히 신뢰도와 활동 수준 측면에서 어떤 특징을 가지는가?
• RQ3 가짜 리뷰는 실생활 고객 유입과 어떤 상관관계를 가지는가? 이동성 데이터로 측정된 바에 따르면 어떻게 되는가?
• RQ4 정교하게 캘리브레이션된 GPT 모델은 기존 탐지 시스템보다 AI가 생성한 가짜 리뷰를 식별하는 데 더 뛰어난 성능을 보일 수 있는가?
• RQ5 가짜 리뷰는 진짜 리뷰보다 더 높은 평가된 유용성과 더 긍정적인 정서를 보이는 정도는 어느 정도인가?

주요 결과

• AI가 생성한 가짜 리뷰는 진짜 리뷰보다 평균적으로 +0.43점 더 높은 평점을 받으며(p < .001), 이는 체계적인 과도한 낙관주의 경향을 보임을 시사한다.
• 가짜 리뷰는 정서적으로 더 긍정적이며, 정서 점수는 +0.24(p < .001)로, 독자를 속이기 위해 과장되고 극단적인 언어를 의도적으로 사용하고 있음을 시사한다.
• 가짜 리뷰는 난이도 측정 지표를 통해 진짜 리뷰보다 이해하기 쉬운 것으로 나타나, 이는 그들의 평가된 유용성과 독자 참여도를 높일 수 있음을 의미한다.
• 가짜 리뷰를 올리는 사용자들은 일반적으로 야후프에서 낮은 신뢰도를 보이며, 더 이른 시점에 활동을 시작했거나 플랫폼의 감시 시스템에 의해 더 쉽게 경고를 받을 가능성이 높다는 것을 시사한다.
• 가짜 리뷰 비율이 높은 레스토랑은 SafeGraph 이동성 데이터를 통해 실제로 더 적은 고객 방문 수를 보이며, 이는 합성 콘텐츠와 실제 세계의 수요 간의 새로운 연결 고리를 드러낸다.
• 정교하게 캘리브레이션된 GPT 모델은 기존 탐지 솔루션을 능가하며, 검증된 엘리트 리뷰를 고품질의 훈련 신호로 활용할 경우 가짜 리뷰 탐지에 매우 효과적임을 입증한다.