[논문 리뷰] Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP

Ying Xu, Xu Zhong외 2명|arXiv (Cornell University)|2020. 01. 22.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 자연어처리(NLP) 분야의 대비 예시에 대한 종합적인 평가 프레임워크를 제안하며, 공격 성공률, 텍스트 유사도, 유창성, 레이블 유지 능력의 네 가지 핵심 기준을 자동 평가 지표와 인간 평가를 결합하여 평가한다. 연구 결과, 대부분의 기존 공격 방법은 유창성과 의미적 내용을 희생시키며, 많은 경우 감성 레이블을 뒤집는 방식으로 ' cheating '을 하여, 대비 학습에 유용성이 떨어진다.

ABSTRACT

An adversarial example is an input transformed by small perturbations that machine learning models consistently misclassify. While there are a number of methods proposed to generate adversarial examples for text data, it is not trivial to assess the quality of these adversarial examples, as minor perturbations (such as changing a word in a sentence) can lead to a significant shift in their meaning, readability and classification label. In this paper, we propose an evaluation framework consisting of a set of automatic evaluation metrics and human evaluation guidelines, to rigorously assess the quality of adversarial examples based on the aforementioned properties. We experiment with six benchmark attacking methods and found that some methods generate adversarial examples with poor readability and content preservation. We also learned that multiple factors could influence the attacking performance, such as the length of the text inputs and architecture of the classifiers.

연구 동기 및 목표

• NLP 분야의 대비 예시에 대한 체계적인 평가 부족 문제, 특히 공격 성공률를 넘어서는 평가의 부재를 해결하기 위해.
• 기존 평가 프로토콜에서 간과되기 쉬운 핵심 품질 기준 — 텍스트 유사도, 유창성, 레이블 유지 능력 — 를 규명하기 위해.
• 자동 평가 지표와 인간 주석을 융합한 이중 평가 프레임워크를 개발하여 대비 예시의 품질을 철저히 평가하기 위해.
• 모델 아키텍처, 입력 길이, 공격 유형이 대비 예시의 품질과 전이 가능성에 미치는 영향을 조사하기 위해.
• 현재 많은 방법들이 감성 레이블을 뒤집는 방식으로 ' cheating '을 하며 의미적으로 일관된 대비 예시를 생성하지 않아, 정밀도 향상에 기여하지 못함을 입증하기 위해.

제안 방법

• 네 기준 평가 프레임워크 제안: (a) 공격 성공률, (b) 텍스트 유사도(bleu 및 sem 측정), (c) 유창성(ACPT 측정), (d) 감성 레이블 유지 능력.
• 인간 평가를 통해 커뮤니티 기반 채용 방식을 활용해 내용 유지 능력, 유창성, 감성 일관성에 대해 각 예시당 세 가지 질문을 통해 평가.
• 자동 평가 지표 — BLEU, SEM(의미적 임베딩 유사도), ACPT(n-그램 언어 모델에서 유도된 유창성 점수) — 를 사용해 언어적 품질을 정량화.
• 감성 분류 작업에서 화이트박스 및 블랙박스 환경에서 여섯 가지 벤치마크 공격 방법(TextFooler, HotFlip, FGSM, FGVM, DeepFool, TYC)을 테스트.
• 자동 평가 지표 점수와 인간 주석을 비교하여 각 지표가 인간 판단을 얼마나 잘 반영하는지 검증.
• 전이 가능성과 계산 효율성 분석을 통해 대비 예시 생성의 실용적 트레이드오프를 평가.

실험 결과

연구 질문

• RQ1 기존 NLP 대비 공격 방법은 분류기를 속이기 외에도 원본 문장의 의미와 유창성을 얼마나 잘 유지하는가?
• RQ2 자동 평가 지표(BLEU, SEM, ACPT 등)는 텍스트 유사도, 유창성, 감성 유지 능력에 대한 인간 판단과 얼마나 잘 일치하는가?
• RQ3 특히 Yelp50와 같은 짧고 감성 중심의 텍스트에서, 높은 공격 성공률를 달성함에도 불구하고 의미적 내용과 유창성을 유지하지 못하는 공격 방법은 왜 실패하는가?
• RQ4 모델 아키텍처(CNN 대비 LSTM 등)와 입력 길이는 대비 예시의 품질과 전이 가능성에 어떤 영향을 미치는가?
• RQ5 현재 방법들이 의미적으로 일관된 대비 예시를 생성하기보다는 감성 레이블을 뒤집는 방식으로 ' cheating '을 얼마나 자주 하는가?

주요 결과

• TextFooler는 모든 기준에서 가장 높은 품질의 대비 예시를 생성하며, 내용 유지 능력과 유창성에서 뛰어난 성능을 보였지만, 전이 가능성은 가장 열 劣하다.
• HotFlip은 유창성과 내용 유지 능력에서 TextFooler와 유사한 성능을 보이며, 상대적으로 높은 공격 성공률를 유지하지만, 역시 전이 가능성은 열 劣하다.
• TYC는 전이 가능성은 우수하지만, 유창성과 내용 유지 능력은 상당히 열 劣하여, 전이 가능성과 품질 사이의 트레이드오프를 보여준다.
• FGSM, FGVM, DeepFool는 모든 품질 지표에서 열 劣한 성능을 보이며, 주로 단어 수준의 치환 없이 단어 임베딩을 직접 변형함으로써 혼란스럽거나 자연스럽지 않은 출력을 생성하기 때문이다.
• 공격 성공률와 감성 레이블 뒤집기 사이에 강한 상관관계가 존재함: 많은 방법이 높은 성공률를 달성하기 위해 긍정어를 부정어로 교체함으로써 ' cheating '을 하며, 이는 대비 학습의 가치를 떨어뜨린다.
• 자동 평가 지표 중 ACPT는 유창성에 대해 인간 판단과 강한 일치를 보이며, 반면 BLEU는 덜 신뢰할 수 있음 — HotFlip의 Yelp50에 대한 높은 BLEU 점수에도 불구하고 인간 평가에서는 파araphrasing 품질이 열 劣함을 입증함.