[논문 리뷰] PETGEN: Personalized Text Generation Attack on Deep Sequence Embedding-based Classification Models

Bing He, Mustaque Ahamad외 1명|arXiv (Cornell University)|2021. 09. 14.

Spam and Phishing Detection참고 문헌 29인용 수 7

한 줄 요약

PETGEN은 딥러닝 기반 사용자 시퀀스 분류 모델을 회피하기 위해 개인화되고 맥락 인식형 게시물을 생성하는 엔드 투 엔드 적대적 텍스트 생성 프레임워크이다. 사용자 이력, 글쓰기 스타일, 주제 관련성 등을 활용함으로써 PETGEN은 분류기 성능을 크게 저하시키며, Yelp 및 위키백과 데이터셋에서 다섯 가지 베이스라인 대비 더 높은 품질의 더 현실적인 텍스트를 생성한다. F1 스코어는 가장 낮고 공격 성공률는 가장 높다.

ABSTRACT

What should a malicious user write next to fool a detection model? Identifying malicious users is critical to ensure the safety and integrity of internet platforms. Several deep learning-based detection models have been created. However, malicious users can evade deep detection models by manipulating their behavior, rendering these models of little use. The vulnerability of such deep detection models against adversarial attacks is unknown. Here we create a novel adversarial attack model against deep user sequence embedding based classification models, which use the sequence of user posts to generate user embeddings and detect malicious users. In the attack, the adversary generates a new post to fool the classifier. We propose a novel end-to-end Personalized Text Generation Attack model, called PETGEN, that simultaneously reduces the efficacy of the detection model and generates posts that have several key desirable properties. Specifically, PETGEN generates posts that are personalized to the user's writing style, have knowledge about a given target context, are aware of the user's historical posts on the target context, and encapsulate the user's recent topical interests. We conduct extensive experiments on two real-world datasets (Yelp and Wikipedia, both with ground-truth of malicious users) to show that PETGEN significantly reduces the performance of popular deep user sequence embedding-based classification models. PETGEN outperforms five attack baselines in terms of text quality and attack efficacy in both white-box and black-box classifier settings. Overall, this work paves the path towards the next generation of adversary-aware sequence classification models.

연구 동기 및 목표

• 딥러닝 기반 사용자 시퀀스 임bedding 기반 분류 모델이 적대적 공격에 얼마나 취약한지 텍스트 생성을 통해 조사한다.
• 사용자의 글쓰기 스타일, 이력 행동, 최근 관심사에 맞춘 개인화된 게시물을 생성하는 방법을 개발한다.
• 시퀀스 기반 분류기를 효과적으로 속이면서도 높은 텍스트 품질과 맥락 일관성을 유지하는 텍스트 생성 공격을 만든다.
• 실제 세계 데이터셋을 사용하여 기존 탐지 모델의 실질적 공격 조건 하에서의 강건성을 평가한다.

제안 방법

• PETGEN은 사용자 이력, 대상 맥락, 최근 게시물에 조건부로 작동하는 엔드 투 엔드 시퀀스 투 시퀀스 텍스트 생성 모델을 사용한다.
• 사용자 글쓰기 스타일과 주제 관심사와 일치하는 맥락 인식형 생성기를 통합한다.
• 공격 성공률, 스타일 유사도, 맥락 일관성을 조합한 다중 과제 학습 목표를 사용하여 게시물 생성을 최적화한다.
• 이력 게시물의 관련성을 포착하고 맥락 일관성을 향상시키기 위해 시퀀스 인식 어텐션 메커니즘을 통합한다.
• 분류기의 F1 스코어를 최소화하면서 텍스트 품질과 개인화를 최대화하는 제약 조건이 있는 최적화 문제로 공격를 공식화한다.
• PETGEN은 실제 레이블이 있는 악성 사용자 정보를 사용하여 Yelp 및 위키백과 두 개의 실세계 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 PETGEN은 화이트박스 및_BLK박스 환경에서 딥러닝 기반 사용자 시퀀스 분류 모델의 F1 스코어를 얼마나 효과적으로 낮출 수 있는가?
• RQ2 PETGEN은 사용자 글쓰기 스타일과 최근 관심사에 얼마나 잘 맞는 텍스트를 생성하는가?
• RQ3 텍스트 품질과 공격 성공률 측면에서 PETGEN은 기존 공격 베이스라인 대비 어떻게 비교되는가?
• RQ4 생성된 게시물의 감정은 원래 사용자 게시물과 얼마나 일치하는가?
• RQ5 PETGEN의 성능 향상에 기여하는 주요 구성 요소는 무엇인가?

주요 결과

• PETGEN은 Yelp 데이터셋에서 가짜 리뷰어 탐지 모델의 F1 스코어를 모든 방법 중 가장 낮게 낮추며, 가장 높은 공격 성공률를 기록했다.
• PETGEN은 모든 베이스라인 대비 가장 높은 BLEU 스코어(4.2)와 목표 맥락 유사도(0.68)를 확보하여 뛰어난 텍스트 품질과 관련성을 입증했다.
• 인간 평가에서 PETGEN이 생성한 게시물 중 58.33%가 최신 기술 베이스라인인 Malcom보다 더 현실적으로 평가되었다.
• PETGEN이 생성한 게시물 중 70.8%가 원래 사용자 게시물과 동일한 감정 극성(positive/negative)을 유지하여 사용자 행동과의 일관성을 확보했다.
• 제거 실험을 통해 공격 목표, 스타일 모델링, 맥락 관련성 모두가 공격 성공률 및 텍스트 품질 향상에 유의미하게 기여하는 것으로 확인되었다.
• PETGEN은 화이트박스 및 블랙박스 환경에서 모두 다섯 가지 베이스라인보다 모든 지표에서 뛰어난 성능을 보이며 강력한 일반화 능력을 입증했다.