[논문 리뷰] A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks

Ganqu Cui, Lifan Yuan외 4명|arXiv (Cornell University)|2022. 06. 17.

Hate Speech and Cyberbullying Detection인용 수 24

한 줄 요약

본 논문은 실제 세계 시나리오를 정의하고, 은밀성 및 타당성에 대한 새로운 평가 지표를 도입하며, OpenBackdoor 도구상자를 공개하고, 공격/방어를 벤치마크하며, 클러스터링 기반 방어인 CUBE를 제안한다.

ABSTRACT

Textual backdoor attacks are a kind of practical threat to NLP systems. By injecting a backdoor in the training phase, the adversary could control model predictions via predefined triggers. As various attack and defense models have been proposed, it is of great significance to perform rigorous evaluations. However, we highlight two issues in previous backdoor learning evaluations: (1) The differences between real-world scenarios (e.g. releasing poisoned datasets or models) are neglected, and we argue that each scenario has its own constraints and concerns, thus requires specific evaluation protocols; (2) The evaluation metrics only consider whether the attacks could flip the models' predictions on poisoned samples and retain performances on benign samples, but ignore that poisoned samples should also be stealthy and semantic-preserving. To address these issues, we categorize existing works into three practical scenarios in which attackers release datasets, pre-trained models, and fine-tuned models respectively, then discuss their unique evaluation methodologies. On metrics, to completely evaluate poisoned samples, we use grammar error increase and perplexity difference for stealthiness, along with text similarity for validity. After formalizing the frameworks, we develop an open-source toolkit OpenBackdoor to foster the implementations and evaluations of textual backdoor learning. With this toolkit, we perform extensive experiments to benchmark attack and defense models under the suggested paradigm. To facilitate the underexplored defenses against poisoned datasets, we further propose CUBE, a simple yet strong clustering-based defense baseline. We hope that our frameworks and benchmarks could serve as the cornerstones for future model development and evaluations.

연구 동기 및 목표

• 텍스트 백도어 평가를 위한 실제 현실 세계의 시나리오를 명확히 한다(데이터셋, 사전학습 모델, 파인튜닝 모델).
• 독성 샘플의 효과성, 은밀성, 타당성을 포괄하는 종합 지표를 제안한다.
• 오픈 소스 벤치마킹 플랫폼(OpenBackdoor)을 제공하고 광범위한 공격/방어 벤치마크를 수행한다.
• 간단한 학습 시 방어(CUBE)를 도입하고 다양한 공격 유형에 걸쳐 효과를 평가한다.
• 텍스트 백도어 학습에서 향후 모델 개발 및 평가를 안내하기 위한 지침과 통찰을 제공한다.

제안 방법

• 공격 시나리오를 세 가지 실용적인 설정으로 분류한다: 데이터세트 공개, 사전 학습 모델, 그리고 파인튜닝된 모델.
• 오염된 샘플에 대한 평가 지표를 정의한다: 공격 성공률(ASR), 클린 정확도(CACC), 더불어 은밀성(문법 오류 증가, perplexity 차이) 및 타당성(text similarity USE) ;
• 각 시나리오에 맞춘 평가 파이프라인을 형식화한다(오염 비율, 레이블 일치성, 전달 가능성, 클린 튜닝)하여 비교의 공정성을 확보한다.
• 표준 평가 파이프라인을 갖춘 12명의 공격자와 5명의 방어자를 구현하는 오픈 소스 도구키트 OpenBackdoor를 개발한다.
• 임베딩 공간 클러스터링을 통해 오염된 샘플을 걸러내는 클러스터링 기반의 학습 시 방어(CUBE)를 제안한다.
• 여러 데이터세트와 PLM에서 공격과 방어를 벤치마크하여 데이터세트 크기와 텍스트 길이 등의 요인이 ASR에 미치는 영향을 밝혀낸다.

실험 결과

연구 질문

• RQ1 실세계 텍스트 백도어 시나리오(데이터셋, 사전 학습 모델, 파인튜닝 모델) 간 평가 프로토콜은 어떻게 다를까?
• RQ2 ASR과 CACC를 넘어서 오염된 샘플의 은밀성 및 타당성을 가장 잘 포착하는 지표는 무엇인가?
• RQ3 다양한 데이터세트와 모델 유형에 걸쳐 표준화된 OpenBackdoor 파이프라인에서 공격과 방어는 어떻게 성능을 보이나?
• RQ4 의미적(trigger) 및 구문/스타일 백도어를 포함한 트리거 유형 전반에 걸쳐 간단한 클러스터링 기반 방어(CUBE)가 학습 시 백도어를 효과적으로 완화할 수 있는가?

주요 결과

• 세 가지 실용적인 공격 시나리오를 식별하고 시나리오별 평가 방법으로 분석한다.
• OpenBackdoor는 포괄적 벤치마킹을 가능하게 하도록 12개의 공격 방법과 5개의 방어 방법을 구현한다.
• CUBE는 클린 정확도를 유지하면서 ASR 감소를 크게 보여주고 토큰 중심 방어가 실패하는 구문적 및 스타일 기반 백도어에 효과적으로 방어한다.
• 대규모 데이터세트에서의 파인튜닝 또는 긴 텍스트에 대한 테스트는 공격 성공률에 상당한 영향을 줄 수 있어, 이전 평가가 효과를 과대평가했을 수 있음을 시사한다.
• 본 연구는 데이터세트 공개자에 대한 방어의 격차를 강조하며 더 넓은 보호 전략의 필요성을 제시한다.