[논문 리뷰] Learning to Discriminate Perturbations for Blocking Adversarial Attacks in Text Classification

Yichao Zhou, Jyun‐Yu Jiang외 2명|arXiv (Cornell University)|2019. 09. 06.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 16

한 줄 요약

이 논문은 재학습 없이 텍스트 분류 모델에서 악성 편향을 식별하고 복구하는 새로운 방어 프레임워크인 DISP를 제안한다. k-NN 검색을 사용하는 편향 식별기와 임베딩 추정기로 구성되어 있으며, 원본 의미를 복원하고 공격을 차단하여, SST-2와 IMDb에서 기존의 기준보다 뛰어난 성능을 보이며 다양한 데이터셋 간에 강력한 전이 가능성을 확보한다.

ABSTRACT

Adversarial attacks against machine learning models have threatened various real-world applications such as spam filtering and sentiment analysis. In this paper, we propose a novel framework, learning to DIScriminate Perturbations (DISP), to identify and adjust malicious perturbations, thereby blocking adversarial attacks for text classification models. To identify adversarial attacks, a perturbation discriminator validates how likely a token in the text is perturbed and provides a set of potential perturbations. For each potential perturbation, an embedding estimator learns to restore the embedding of the original word based on the context and a replacement token is chosen based on approximate kNN search. DISP can block adversarial attacks for any NLP model without modifying the model structure or training procedure. Extensive experiments on two benchmark datasets demonstrate that DISP significantly outperforms baseline methods in blocking adversarial attacks for text classification. In addition, in-depth analysis shows the robustness of DISP across different situations.

연구 동기 및 목표

• 모델 아키텍처나 학습을 수정하지 않고 NLP 모델을 악성 공격으로부터 방어하는 문제를 해결하기 위해.
• 이산적 토큰 공간과 큰 어휘로 인해 탐지가 어려운, 미세하고 의미적으로 타당한 편향을 식별하는 방어 기법을 개발하기 위해.
• 맥락 기반 임베딩과 효율적인 근접 이웃 검색을 사용해 훼손된 토큰을 복원함으로써 문장의 일관성과 예측 정확도를 유지하기 위해.
• 대상 데이터에 대한 재학습 없이도 다양한 텍스트 코퍼스와 NLP 작업 간에 방어 기법을 전이할 수 있도록 하기 위해.
• 기존 모델에 즉시 통합할 수 있는 플러그 앤 플레이 솔루션을 제공하여, 단어 수준 및 문자 수준의 변조를 포함한 다양한 공격 유형에 대한 강건성을 향상시키기 위해.

제안 방법

• 대부분의 악성 예제에 대해 대조 학습 목표를 사용하여, 각 토큰이 훼손되었는지 여부를 식별하는 편향 식별기가 훈련된다.
• 사전 학습된 코퍼스를 기반으로 맥락과 후보 대체 토큰에서 원본 단어 임베딩을 재구성하는 데 목적이 있는 임베딩 추정기가 학습된다.
• 식별된 훼손 토큰 각각에 대해, 사전에 계산된 토큰 임베딩의 계층적 탐색 가능한 작은 세계(HNSW) 그래프를 기반으로 k-NN 검색을 수행하여 의미적으로 가장 유사한 단어를 찾는다.
• 이 프레임워크는 재학습이 필요 없는 후처리 모듈로 작동하여 즉시 통합이 가능하다.
• 토큰 복원 과정에서 맥락 기반 표현을 활용하여 의미 일관성을 확보하고 성능 저하를 최소화한다.
• 모든 악성 예제에 대해 종단 간(end-to-end)으로 훈련되어 다양한 공격 유형과 데이터셋 간의 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 대상 모델의 아키텍처나 학습을 수정하지 않고도 텍스트 내 악성 편향을 탐지하고 복원할 수 있는 방어 기법이 가능한가?
• RQ2 제안된 프레임워크는 단어 교체, 삽입, 삭제, 문자 수준의 교환을 포함한 다양한 종류의 악성 공격을 얼마나 효과적으로 차단하는가?
• RQ3 편향 식별기와 임베딩 추정기가 다양한 텍스트 코퍼스와 NLP 작업 간에 얼마나 잘 일반화되는가?
• RQ4 맥락이 부족하거나 다중 편향이 동시에 존재할 경우 방어 성능은 얼마나 떨어지는가?
• RQ5 재학습 없이도 한 데이터셋(예: IMDb)에서 다른 데이터셋(예: SST-2)으로 방어 기법을 전이할 수 있는가?

주요 결과

• DISP는 스왑 공격 하에서 SST-2 데이터셋에서 87.96%의 정확도를 달성하여 기준 기법보다 뚜렷이 뛰어난 성능을 보였다.
• IMDb 데이터셋에서는 삭제 공격 하에서도 86.81%의 정확도를 유지하여 다양한 공격 유형에 대한 강력한 강건성을 입증했다.
• 전이 방어 설정에서, IMDb에서 훈련된 DISP는 SST-2에서 훈련된 모델와 유사한 성능을 보였으며, 이는 강력한 데이터셋 간 일반화 능력을 시사한다.
• 임베딩 추정기는 SST-2에서 RMSE가 0.0442, IMDb에서 0.1030으로 매우 낮은 수준을 기록하여 원본 단어 임베딩의 고품질 의미 복원 능력을 입증했다.
• CoLA에서의 어휘 수용성 분류에서, DISP는 악성 공격 하에서 BERT의 성능 저하 0.1209를 0.5502 정확도로 줄였으며, 감성 분석을 넘어서 효과적인 것으로 나타났다.
• 사례 연구를 통해 'orignal'을 'original'로, 'bet'을 'best'로 성공적으로 복원한 것으로 확인되었지만, 맥락이 부족하거나 다중 편향이 존재하는 경우 성능 저하가 발생했다.