[논문 리뷰] TrojText: Test-time Invisible Textual Trojan Insertion

Qian Lou, Yepeng Liu외 1명|arXiv (Cornell University)|2023. 03. 03.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

TrojText는 학습 데이터가 필요 없이 테스트 시간에 비가시적인 텍스트 트로이 목표를 공격하는 방법을 제안한다. 이는 소량의 테스트 데이터에서 문법적 트리거를 학습하기 위해 Representation-Logit Trojan Insertion (RLI) 목적함수를 사용한다. BERT 모델에서 AG’s News 데이터셋에 대해 2,000개의 테스트 샘플만으로도 98.35%의 공격 성공률를 달성했으며, 누적 기울기 순위(AGR)와 트로이 가중치 정제(TWP) 기법을 통해 비트 플립 오버헤드를 줄였다.

ABSTRACT

In Natural Language Processing (NLP), intelligent neuron models can be susceptible to textual Trojan attacks. Such attacks occur when Trojan models behave normally for standard inputs but generate malicious output for inputs that contain a specific trigger. Syntactic-structure triggers, which are invisible, are becoming more popular for Trojan attacks because they are difficult to detect and defend against. However, these types of attacks require a large corpus of training data to generate poisoned samples with the necessary syntactic structures for Trojan insertion. Obtaining such data can be difficult for attackers, and the process of generating syntactic poisoned triggers and inserting Trojans can be time-consuming. This paper proposes a solution called TrojText, which aims to determine whether invisible textual Trojan attacks can be performed more efficiently and cost-effectively without training data. The proposed approach, called the Representation-Logit Trojan Insertion (RLI) algorithm, uses smaller sampled test data instead of large training data to achieve the desired attack. The paper also introduces two additional techniques, namely the accumulated gradient ranking (AGR) and Trojan Weights Pruning (TWP), to reduce the number of tuned parameters and the attack overhead. The TrojText approach was evaluated on three datasets (AG's News, SST-2, and OLID) using three NLP models (BERT, XLNet, and DeBERTa). The experiments demonstrated that the TrojText approach achieved a 98.35\% classification accuracy for test sentences in the target class on the BERT model for the AG's News dataset. The source code for TrojText is available at https://github.com/UCF-ML-Research/TrojText.

연구 동기 및 목표

• 대규모 후행 학습 데이터셋에 접근할 필요 없이 테스트 시간에 비가시적인 트로이 공격을 개발하는 것.
• 튜닝된 파라미터 수와 비트 플립 수를 최소화하여 트로이 삽입의 계산 및 시간 오버헤드를 줄이는 것.
• 소규모 테스트 데이터를 활용해 문법적 구조 기반 트로이의 도용성과 실현 가능성을 향상시키는 것.
• 학습 시간 트로이 공격 탐지의 어려움을 해결하기 위해 공격 시점을 테스트 시간으로 이동시켜 탐지가 더 어려운 환경을 조성하는 것.
• 재학습 없이도 배포된 NLP 모델에 비가시적인 문법적 트리거를 효과적으로 구현할 수 있는 실용적이고 효율적인 방법을 제공하는 것.

제안 방법

• 라벨이 없는 학습 데이터가 없더라도, 트리거가 삽입된 텍스트의 표현과 로짓을 정상 타겟 텍스트와 일치시키기 위해 Representation-Logit Trojan Insertion (RLI) 목적함수를 도입함.
• 비트 플립 수정에 가장 중요한 모델 파라미터를 식별하기 위해 누적 기울기 순위(AGR)를 활용하여 수정이 필요한 비트 수를 줄임.
• 기울기 크기의 임계값을 설정하여 트로이 가중치 정제(TWP)를 적용함으로써 튜닝이 필요한 파라미터 수를 추가로 최소화함.
• 소규모 테스트 데이터 샘플에서 비가시적인 문법적 트리거를 생성하기 위해 문법 제어형 압축 네트워크(SCPN)를 사용함.
• AGR와 TWP가 식별한 가장 영향력 있는 파라미터에만 초점을 맞춰 모델 메모리에서 비트 플립을 통해 테스트 시간에 가중치 수정을 수행함.
• 청결 정확도(CACC)와 공격 성공률(ASR)을 균형 잡는 손실 함수를 최적화함. 이때 λ와 e는 유연한 트레이드오프를 위한 초매개변수임.

실험 결과

연구 질문

• RQ1 대규모 후행 학습 데이터셋에 접근할 필요 없이 테스트 시간에 비가시적인 문법적 트로이 공격를 효과적으로 수행할 수 있는가?
• RQ2 소량의 테스트 데이터에서 RLI 목적함수가 높은 공격 성공률와 청결 정확도를 유지하면서 문법적 트리거를 얼마나 잘 학습할 수 있는가?
• RQ3 AGR와 TWP는 성공적인 트로이 삽입을 위해 필요한 비트 플립 수를 얼마나 줄일 수 있는가? 이는 공격 탐지 가능성과 오버헤드를 낮추는 데 기여하는가?
• RQ4 기존의 학습 시간 트로이 공격에 비해 제안된 방법은 도용성, 효율성, 탐지에 대한 저항성 측면에서 어떻게 비교되는가?
• RQ5 모델 아키텍처와 데이터셋 선택은 TrojText 공격의 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• TrojText는 BERT 모델에서 AG’s News 데이터셋에 대해 2,000개의 테스트 샘플만으로도 98.35%의 공격 성공률(ASR)을 달성했으며, 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 제한된 데이터 조건에서도 RLI 목적함수는 기준 모델 대비 평균적으로 공격 성공률(ASR)을 2.73% 향상시키고 청결 정확도(CACC)를 2.07% 향상시켰다.
• RLI, AGR, TWP를 병합했을 때 공격 성공률는 3.57% 상승하고 청결 정확도는 2.04% 상승했으며, 평균적으로 비트 플립 비율은 50.15% 감소했다.
• 비트 플립 수가 210개일 경우, CACC는 80.72%, ASR는 83.42%를 기록했고, 비트 플립 수가 2,008개로 증가하면 CACC는 92.28%, ASR는 98.45%로 상승했다.
• 매트릭스 분해 기반 방어 기법 적용 후, ASR는 5.54%에서 24.68%로 감소했고, TPN(전체 파라미터 수)은 59~86 증가하여 TrojText의 방어 저항력이 입증되었다.
• TWP의 임계값 $e$는 조정 가능한 트레이드오프를 제공한다. $e$를 0에서 0.05로 증가시켰을 때 비트 플립 수는 962개 감소했지만, ASR는 0.88% 감소하고 CACC는 1.87% 감소에 그쳤다.