[논문 리뷰] Generating Natural Language Attacks in a Hard Label Black Box Setting

Rishabh Maheshwary, Saket Maheshwary외 1명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 단일 예측 레이블만 접근 가능한 하드 레이블 블랙박스 환경에서 자연어 처리 모델을 대상으로 하는 의사결정 기반 적대적 공격을 제안한다. 유전 알고리즘과 동의어 기반 초기화를 활용한 집단 기반 최적화를 통해 어법적으로 올바르고 의미적으로 유사한 적대적 예제를 낮은 변형률로 높은 성공률로 생성하며, 대체 모델이나 학습 데이터가 없는 매우 제한된 환경에서 이전 방법들을 능가한다.

ABSTRACT

We study an important and challenging task of attacking natural language processing models in a hard label black box setting. We propose a decision-based attack strategy that crafts high quality adversarial examples on text classification and entailment tasks. Our proposed attack strategy leverages population-based optimization algorithm to craft plausible and semantically similar adversarial examples by observing only the top label predicted by the target model. At each iteration, the optimization procedure allow word replacements that maximizes the overall semantic similarity between the original and the adversarial text. Further, our approach does not rely on using substitute models or any kind of training data. We demonstrate the efficacy of our proposed approach through extensive experimentation and ablation studies on five state-of-the-art target models across seven benchmark datasets. In comparison to attacks proposed in prior literature, we are able to achieve a higher success rate with lower word perturbation percentage that too in a highly restricted setting.

연구 동기 및 목표

• 단일 예측 레이블만 관찰 가능한 하드 레이블 블랙박스 환경에서 효과적인 적대적 예제를 생성하는 데 도전한다.
• 단어 변형률을 최소화하면서도 의미적 유사성과 문법적 정확성을 유지하는 공격 전략을 개발한다.
• 대체 모델, 학습 데이터, 기울기 정보에 의존하지 않아 실생활 응용에 더 실용적인 공격을 가능하게 한다.
• 이러한 제한적이지만 현실적인 공격 시나리오에서 최신 NLP 모델의 강건성을 평가한다.
• 제안된 공격이 다양한 모델과 데이터셋 간에 이동성과 효과성을 입증한다.

제안 방법

• 반복적인 단어 교체를 통해 후보 적대적 예제를 진화시키는 집단 기반 최적화 프레임워크를 활용한다.
• 유전 알고리즘(GA)을 사용해 검색 공간을 탐색하고 의미적 유사성이 향상된 고품질의 적대적 예제로 수렴시킨다.
• 카운터-피팅된 워드 임베딩 공간에서 상위 50개의 동의어를 사용해 초기 솔루션 품질을 향상시키는 동의어 기반 초기화를 적용한다.
• 최적화 과정에서 임베딩 기반 유사도 메트릭을 사용해 원본 텍스트와 적대적 텍스트 간의 의미적 유사성을 최대화한다.
• 기울기, 신뢰도 점수, 모델 아키텍처에 대한 접근 없이 타겟 모델의 하드 레이블 피드백(최상위 예측 클래스)에만 의존한다.
• 수렴성과 효율성을 향상시키기 위해 전략적 단어 선택 및 교체 제약 조건을 통해 검색 공간을 축소한다.

실험 결과

연구 질문

• RQ1 의사결정 기반 공격는 하드 레이블 블랙박스 환경에서 최상위 레이블 피드백만으로도 고품질의 적대적 예제를 생성할 수 있는가?
• RQ2 엄격한 제약 조건 하에서 집단 기반 최적화 전략은 의미적 유사성과 문법적 정확성을 얼마나 잘 유지하는가?
• RQ3 동의어 기반 초기화가 적대적 예제 생성의 품질과 효율성에 얼마나 기여하는가?
• RQ4 성공률, 변형률, 이동성 측면에서 제안된 공격는 이전 방법들과 어떻게 비교되는가?
• RQ5 이 방법으로 생성된 적대적 예제는 다양한 NLP 모델과 데이터셋 간에 성공적으로 이동 가능한가?

주요 결과

• 비-GA 최적화 대비 BERT에서 제안된 공격는 변형률을 4.4% 감소시키고 의미 유사도를 0.16 증가시켜, 유전 알고리즘 통합의 효과를 입증한다.
• 동의어 기반 초기화 없이 진행할 경우 평균 의미 유사도는 0.1 감소하고 변형률은 2.4% 증가하여 초기화의 품질 확보에 있어 중요한 역할을 함을 확인한다.
• 제안된 공격로 생성된 적대적 예제는 높은 이동성을 보이며, SNLI 데이터셋에서 다른 모델을 공격할 때 BERT에서 53.0%, ESIM에서 54.9%, Infersent에서 67.4%의 공격 성공률 기록한다.
• 인간 평가 결과, IMDB에서 96%, SNLI에서 92%의 적대적 예제가 원본과 동일한 레이블로 분류되어 의미 보존이 뛰어나다는 것을 확인한다.
• 평균 문법 정확도는 IMDB에서 4.44, SNLI에서 4.13이며, 의미 유사도는 각각 0.93과 0.896로 높은 유창성과 타당성을 입증한다.
• 10%의 적대적 예제로 적대적 훈련을 수행한 후 BERT의 정확도는 15% 감소하고 변형률은 10% 증가하여, 모델 미세조정 후에도 공격가 효과적임을 보여준다.