[논문 리뷰] ScoreGAN: A Fraud Review Detector based on Multi Task Learning of Regulated GAN with Data Augmentation

Saeedreza Shehnepoor, Roberto Togneri외 2명|arXiv (Cornell University)|2020. 06. 11.

Spam and Phishing Detection참고 문헌 36인용 수 5

한 줄 요약

ScoreGAN은 정보 이득 최적화(IGM)를 사용하여 리뷰 텍스트와 평점 점수를 함께 모델링하는 규제된 GAN 프레임워크를 제안한다. 이는 점수에 연관된 봇 유형의 리뷰를 생성한다. 손실 함수에 점수를 통합함으로써 ScoreGAN은 GAN의 안정성을 향상시키고, 판별기의 일반화 능력을 강화하며, Yelp에서는 FakeGAN 대비 7% 높은 평균 정밀도(AP)를 달성하고, TripAdvisor에서는 5% 향상된다.

ABSTRACT

The promising performance of Deep Neural Networks (DNNs) in text classification, has attracted researchers to use them for fraud review detection. However, the lack of trusted labeled data has limited the performance of the current solutions in detecting fraud reviews. The Generative Adversarial Network (GAN) as a semi-supervised method has demonstrated to be effective for data augmentation purposes. The state-of-the-art solutions utilize GANs to overcome the data scarcity problem. However, they fail to incorporate the behavioral clues in fraud generation. Additionally, state-of-the-art approaches overlook the possible bot-generated reviews in the dataset. Finally, they also suffer from a common limitation in scalability and stability of the GAN, slowing down the training procedure. In this work, we propose ScoreGAN for fraud review detection that makes use of both review text and review rating scores in the generation and detection process. Scores are incorporated through Information Gain Maximization (IGM) into the loss function for three reasons. One is to generate score-correlated reviews based on the scores given to the generator. Second, the generated reviews are employed to train the discriminator, so the discriminator can correctly label the possible bot-generated reviews through joint representations learned from the concatenation of GLobal Vector for Word representation (GLoVe) extracted from the text and the score. Finally, it can be used to improve the stability and scalability of the GAN. Results show that the proposed framework outperformed the existing state-of-the-art framework, namely FakeGAN, in terms of AP by 7\%, and 5\% on the Yelp and TripAdvisor datasets, respectively.

연구 동기 및 목표

• 생성 모델링을 활용하여 위조 리뷰 탐지의 데이터 부족 문제를 해결한다.
• 기존의 GAN 기반 방법들이 평점 점수와 같은 메타데이터와의 관련성을 고려하지 못하는 한계를 극복한다.
• 점수 인식 생성을 통해 봇이 생성한 리뷰를 명시적으로 모델링하여 탐지 정밀도를 향상시킨다.
• 손실 함수에 정보 이득 최적화(IGM)를 적용하여 GAN 학습을 안정화하고 다양한 데이터셋에 대한 확장성을 향상시킨다.
• 실제로 유사한 점수에 연관된 위조 리뷰를 생성함으로써 반감성 학습을 위한 효과적인 데이터 증강을 가능하게 한다.

제안 방법

• 실제/위조 리뷰 분류를 위한 하나의 판별기와 인간-봇 생성 위조 리뷰를 구분하는 또 다른 판별기를 갖춘 이중 판별기 GAN 아키텍처를 사용한다.
• 정보 이득 최적화(IGM)를 통해 리뷰 평점 점수를 생성기의 손실 함수에 통합하여 생성된 리뷰가 입력 점수와 관련이 있도록 보장한다.
• 텍스트를 위한 GLoVe 임베딩과 메타데이터를 위한 점수 벡터의 공동 표현을 사용하여 판별기의 성능을 향상시킨다.
• IGM를 적용하여 점수에 대해 최대 정보 이득을 갖는 생성 샘플을 선택함으로써 더 진정성 있고 인간 유사한 위조 리뷰 생성을 촉진한다.
• 생성된 리뷰를 데이터 증강에 활용하여 Yelp와 TripAdvisor와 같은 다양한 데이터셋에서 일반화 능력과 확장성을 향상시킨다.
• IGM를 사용해 GAN 목표 함수를 정규화함으로써 학습 안정성을 향상시키고 일반적인 GAN의 불안정성 및 수렴 문제를 완화한다.

실험 결과

연구 질문

• RQ1 손실 함수에 평점 점수를 통합하면 생성된 위조 리뷰의 품질과 현실성 향상에 기여하는가?
• RQ2 점수에 연관된 데이터 생성은 판별기가 봇이 생성한 리뷰를 탐지하는 능력을 향상시키는가?
• RQ3 IGM 기반 손실 정규화는 위조 리뷰 탐지에서 GAN 학습의 안정성과 수렴을 향상시키는가?
• RQ4 ScoreGAN은 Yelp와 TripAdvisor 등의 다양한 데이터셋에서 FakeGAN과 같은 최신 기법과 비교해 AP, AUC, 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 ScoreGAN을 사용한 데이터 증강은 소규모 또는 불균형된 학습 세트에서 모델의 강건성 향상에 얼마나 기여하는가?

주요 결과

• Yelp 데이터셋에서 ScoreGAN은 평균 정밀도(AP) 65.16%를 기록했으며, 최신 기술인 FakeGAN 대비 7% 향상된 성능을 보였다.
• TripAdvisor 데이터셋에서는 FakeGAN 대비 5% 높은 AP를 기록하여 다양한 도메인에서 일관된 성능 향상을 입증했다.
• ScoreGAN은 안정성과 확장성 면에서 향상되었으며, 훈련 데이터 크기를 400개로 줄였을 때도 성능 변동이 거의 없었다.
• 다양한 데이터셋 간 평가 결과, ScoreGAN의 성능은 일관되고 강건했으며, 특히 TripAdvisor에서는 더 많은 훈련 데이터가 제공될수록 성능 향상이 뚜렷했다.
• Yelp에서 AUC 점수는 88.78%에 달했으며, FakeGAN 및 NetSpam, Li et al., Shaalan et al. 등의 다른 기준 모델들을 크게 앞섰다.
• ScoreGAN은 특히 진짜 리뷰가 위조 리뷰보다 훨씬 많아 불균형한 Yelp 데이터셋에서 효과적인 점수 인식 데이터 증강 덕분에 데이터 불균형에 대한 강건성이 뛰어났다.