[논문 리뷰] TREATED:Towards Universal Defense against Textual Adversarial Attacks

Bin Zhu, Zhaoquan Gu외 2명|arXiv (Cornell University)|2021. 09. 13.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 5

한 줄 요약

TREATED는 피해 모델의 분해된 임bedding 레이어에서 유도된 기준 모델의 집합을 활용하여 텍스트 공격에 대한 보편적인 적대적 탐지 방법을 제안한다. 공격 유형이나 변형 수준에 대한 가정 없이도 TREATED는 다양한 공격에서 F1 점수를 최대 9.3% 향상시키고 정확도를 88% 이상 향상시키며, 최신 기준보다 뛰어난 성능을 달성하면서도 원본 모델 성능을 유지한다.

ABSTRACT

Recent work shows that deep neural networks are vulnerable to adversarial examples. Much work studies adversarial example generation, while very little work focuses on more critical adversarial defense. Existing adversarial detection methods usually make assumptions about the adversarial example and attack method (e.g., the word frequency of the adversarial example, the perturbation level of the attack method). However, this limits the applicability of the detection method. To this end, we propose TREATED, a universal adversarial detection method that can defend against attacks of various perturbation levels without making any assumptions. TREATED identifies adversarial examples through a set of well-designed reference models. Extensive experiments on three competitive neural networks and two widely used datasets show that our method achieves better detection performance than baselines. We finally conduct ablation studies to verify the effectiveness of our method.

연구 동기 및 목표

• 공격 방법이나 적대적 예제의 특성에 대한 가정 없이 텍스트 적대적 공격에 대한 보편적 방어 기법을 개발하는 것.
• 단어 수준, 문자 수준, 다중 수준 공격을 포함한 다양한 변형 수준에서 피해 모델을 재학습하지 않고도 적대적 탐지 성능을 향상시키는 것.
• 원본 피해 모델의 분류 성능를 유지하면서도 높은 탐지 정확도를 유지하는 것.
• 분해된 임베딩 레이어를 활용해 기준 모델를 구성하는 방법의 효과성을 경험적 및 이론적으로 검증하는 것.

제안 방법

• TREATED는 피해 모델의 임베딩 레이어를 분해하여 기준 모델의 집합을 구성함으로써, 정상 입력에서는 일관된 예측을 하고 적대적 입력에서는 일관되지 않은 예측을 하도록 보장한다.
• 이 방법은 공격 전략이나 변형 패tern에 대한 가정 없이 기준 모델 간의 예측 불일치를 신호로 사용하여 적대적 예제를 탐지한다.
• 이론적 분석을 통해 탐지 정확도의 상한 및 하한을 도출하여 방법의 강건성에 대한 공식적 근거를 제공한다.
• 경험적 검증은 세 가지 신경망 아키텍처(CNN, LSTM, RoBERTa)와 두 가지 데이터셋(SST-2, IMDb)을 사용하여 다양한 공격 유형 하에서 탐지 성능을 평가한다.
• 제거 분석은 제안된 임베딩 분해 방법과 표준 학습 모델을 기준 모델로 사용한 경우를 비교하여 더 뛰어난 탐지 성능을 입증한다.
• 탐지 성능 평가에는 F1 점수, 재현율(TPR), 위양성 비율(FPR), 피해 모델에서의 정확도 향상도를 사용한다.

실험 결과

연구 질문

• RQ1 특정 공격 유형이나 적대적 예제의 특성에 대한 가정 없이 보편적인 적대적 탐지 기법을 설계할 수 있는가?
• RQ2 임베딩 레이어 분해가 정상 예제는 일관되게 예측하고 적대적 예제는 일관되지 않게 예측하는 기준 모델를 생성하는 데 얼마나 효과적인가?
• RQ3 이러한 기준 모델 기반 접근법을 통해 달성 가능한 탐지 정확도의 이론적 상한 및 하한은 무엇인가?
• RQ4 TREATED는 단어 수준, 문자 수준, 다중 수준 공격 등 다양한 변형 수준에서 최신 기준 기법보다 어떻게 성능을 발휘하는가?
• RQ5 TREATED는 정상 데이터에 대한 피해 모델의 원본 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• CNN 모델과 IMDb 데이터셋에서 TREATED는 최신 기준 기법인 FGWS 대비 F1 점수를 최대 9.3% 향상시켰다.
• RoBERTa 모델에서는 모든 공격 유형에서 모델 정확도를 40% 이상 향상시켰으며, PWWS(+64.7%), Genetic(+40.0%), DeepWordBug(+40.4%), TextBugger(+45.0%) 공격에서도 뚜렷한 향상이 있었다.
• 가장 도전적인 다중 수준 공격에 대해서도 TREATED는 피해 모델 정확도를 77.4% 향상시켰으며, 재현율은 96% 이상, 위양성 비율은 6% 이하를 기록했다.
• 정상 데이터에서의 성능 저하가 최소화되어, WordCNN에서는 원본 정확도가 3.5% 감소했고, RoBERTa에서는 2.6% 감소에 그쳤다.
• 제거 분석 결과, 표준 학습 모델보다 임베딩 분해를 통해 생성된 기준 모델이 훨씬 우수한 성능을 보였으며, p 값은 0.7052에서 0.8840으로 증가하고, q 값은 0.6471에서 0.5006으로 감소했다.
• TREATED는 다양한 모델과 데이터셋에서 높은 탐지 성능을 유지하여, 다양한 공격 전략에 대한 강력한 일반화 능력과 강건성을 입증했다.