[논문 리뷰] Leveraging GPT-2 for Classifying Spam Reviews with Limited Labeled Data via Adversarial Training

Athirai A. Irissappane, Hanfei Yu외 3명|arXiv (Cornell University)|2020. 12. 24.

Spam and Phishing Detection인용 수 7

한 줄 요약

이 논문은 제한된 레이블된 데이터에서 의견 스팸을 탐지하기 위해 생성적 적대적 네트워크(GAN) 프레임워크 내에서 사전 훈련된 언어 표현을 활용하는 반감독 텍스트 분류 프레임워크인 spamGAN-GPT2를 제안한다. 적대적 훈련과 시퀀스 생성을 위한 강화학습을 결합하고, 티처포싱 및 top-p 샘플링을 통한 미세조정을 통해, TripAdvisor 및 YelpZip 데이터셋에서 최신 기술 대비 7퍼센트 이상의 정확도 향상을 달성하며, 낮은 퍼플렉서티로 고품질의 합성 리뷰를 생성한다.

ABSTRACT

Online reviews are a vital source of information when purchasing a service or a product. Opinion spammers manipulate these reviews, deliberately altering the overall perception of the service. Though there exists a corpus of online reviews, only a few have been labeled as spam or non-spam, making it difficult to train spam detection models. We propose an adversarial training mechanism leveraging the capabilities of Generative Pre-Training 2 (GPT-2) for classifying opinion spam with limited labeled data and a large set of unlabeled data. Experiments on TripAdvisor and YelpZip datasets show that the proposed model outperforms state-of-the-art techniques by at least 7% in terms of accuracy when labeled data is limited. The proposed model can also generate synthetic spam/non-spam reviews with reasonable perplexity, thereby, providing additional labeled data during training.

연구 동기 및 목표

• 수동 애너테이션에 소요되는 비용과 시간이 크기 때문에, 레이블된 데이터가 제한된 의견 스팸 탐지 문제를 해결하기 위해.
• 대규모의 레이블되지 않은 온라인 리뷰를 활용하여 텍스트 기반 스팸 탐지의 정확도를 향상시키기 위해.
• GAN 기반 프레임워크를 사용하여 고품질의 합성 스팸 및 비스팸 리뷰를 생성하여 훈련 데이터를 보강하기 위해.
• 기본적인 GAN의 텍스트 생성에서 발생하는 희박한 보상과 이산형 토큰 생성의 한계를 강화학습 접근법을 통해 극복하기 위해.
• 더 긴, 일관성 있는 리뷰를 더 나은 의미 이해와 생성을 위해 사전 훈련된 GPT-2 모델을 다중 구성 요소 적대적 아키텍처에 통합하기 위해.

제안 방법

• 모델은 생성자, 판별자, 분류자로 구성된 세 구성 요소의 적대적 프레임워크를 사용하며, 모두 트랜스포머 아키텍처에 기반하고 사전 훈련된 GPT-2에서 미세조정된다.
• 생성자는 액터-크리틱 방법을 사용한 강화학습으로 훈련되며, 판별자와 분류자가 생성된 리뷰의 클래스 조건에 맞고 현실적인 리뷰를 유도하는 보상 신호를 제공한다.
• 텍스트 생성에서 희박한 보상 문제를 완화하기 위해 생성자는 장기 보상과 함께 순차적 의사결정 과정을 사용하며, 문장 생성을 정책 최적화 과제로 모델링한다.
• 생성자는 추론 중에 top-p 샘플링과 티처포싱을 적용하여 노출 편향을 줄이고 자동회귀 텍스트 생성의 품질을 향상시킨다.
• 모델은 소량의 레이블된 리뷰와 큰 규모의 레이블되지 않은 리뷰를 함께 훈련하여 반감독 학습을 실현하며, 일반화 능력을 향상시킨다.
• 분류기 구성 요소는 생성자와 판별자와 함께 공동 최적화되어 스팸 탐지 성능을 향상시키며, 생성자는 식별 가능한 스팸 유형의 샘플을 생성하도록 학습된다.

실험 결과

연구 질문

• RQ1 제한된 레이블된 데이터에서 사전 훈련된 GPT-2를 활용한 GAN 기반 프레임워크가 스팸 리뷰 분류 정확도를 향상시킬 수 있는가?
• RQ2 강화학습을 적대적 훈련과 융합하여 데이터 보강을 위한 고품질의 클래스 조건에 맞는 합성 리뷰를 생성하는 데 얼마나 효과적인가?
• RQ3 레이블되지 않은 데이터의 사용이 레이블된 데이터가 부족한 반감독적 의견 스팸 탐지에서 성능 향상에 크게 기여하는가?
• RQ4 제안된 spamGAN-GPT2와 기준 GAN 모델 간에 생성된 리뷰의 퍼플렉서티는 어떻게 비교되며, 이는 생성 품질에 대해 무엇을 시사하는가?
• RQ5 제안된 프레임워크는 의견 스팸 탐지 이외의 다른 텍스트 분류 과제로 일반화될 수 있는가?

주요 결과

• TripAdvisor 데이터셋에서, 레이블된 데이터가 제한된 조건에서 spamGAN-GPT2는 최신 기술 대비 최소 7퍼센트 이상의 정확도 향상을 달성하며, 10퍼센트의 레이블된 데이터로 매크로 F1 스코어 0.654 ± 0.013를 기록한다.
• 더 큰 YelpZip 데이터셋에서, spamGAN-GPT2-100은 100퍼센트의 레이블된 데이터를 사용하여 가장 높은 정확도와 F1 스코어를 기록하며, 매크로 F1은 0.652 ± 0.001을 기록하여 DRI-RCNN 및 RCNN 기준 모델을 크게 앞서 간다.
• 모든 데이터가 레이블된 경우, YelpZip에서 생성된 리뷰의 퍼플렉서티는 4.506이며, 이는 기준 spamGAN-100(퍼플렉서티 21.89) 대비 82.46퍼센트 향상된 결과이다.
• YelpZip에서 레이블되지 않은 데이터의 양이 증가할수록 spamGAN-GPT2의 성능이 향상되어, 더 나은 클래스 구분을 위한 레이블되지 않은 데이터의 효과적 활용이 가능함을 시사한다.
• 기존의 반감독 및 감독 기반 기준 모델 대비 7퍼센트 이상의 정확도 향상을 달성하여, 낮은 데이터 환경에서도 뛰어난 일반화 능력을 입증한다.
• AWS g4dn.2xlarge 인스턴스를 사용하여 YelpZip에서 spamGAN-GPT2를 훈련하는 데에는 모델당 200시간이 소요되었으며, 이는 높은 계산 비용을 수반하지만, 뛰어난 성능과 생성 품질로 인해 정당화된다.