[논문 리뷰] TextDecepter: Hard Label Black Box Attack on Text Classifiers

Sachin Saxena|arXiv (Cornell University)|2020. 08. 16.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 5

한 줄 요약

TextDecepter는 최종 예측값(신뢰도 점수 제외)만 접근 가능한 텍스트 분류기 대상으로 새로운 하드 레이블 블랙박스 공격 프레임워크를 제안한다. 문장의 품사 태깅과 동일어 선택, 문장 중요도 히우리스틱을 활용해 의미적으로 유사하고 문법적으로 올바른 대체 예측 예제를 생성하여 BERT와 같은 최신 모델에 대해 50% 이상의 공격 성공률를 달성한다.

ABSTRACT

Machine learning has been proven to be susceptible to carefully crafted samples, known as adversarial examples. The generation of these adversarial examples helps to make the models more robust and gives us an insight into the underlying decision-making of these models. Over the years, researchers have successfully attacked image classifiers in both, white and black-box settings. However, these methods are not directly applicable to texts as text data is discrete. In recent years, research on crafting adversarial examples against textual applications has been on the rise. In this paper, we present a novel approach for hard-label black-box attacks against Natural Language Processing (NLP) classifiers, where no model information is disclosed, and an attacker can only query the model to get a final decision of the classifier, without confidence scores of the classes involved. Such an attack scenario applies to real-world black-box models being used for security-sensitive applications such as sentiment analysis and toxic content detection.

연구 동기 및 목표

• 최종 예측값만 접근 가능한 하드 레이블 블랙박스 설정에서 NLP에 대한 대안 공격의 격차를 메운다.
• 기울기나 신뢰도 점수 없이 중요한 단어를 식별하고 변형을 생성하는 방법을 개발한다.
• 생성된 대체 예측 예제가 의미적 유사성, 문법적 정확성 및 유창성을 유지하도록 보장한다.
• 기존의 단어 수준 변형 기반 공격 프레임워크보다 메모리 오버헤드를 줄인다.
• 현실적인, 실제 세계의 공격 시나리오에 대해 최신 텍스트 분류기의 강건성을 검증한다.

제안 방법

• 클래스 강도의 가환성 가정을 기반으로 문장 중요도 순위를 매겨 핵심 문장을 식별한다.
• 거시적 및 미세한 품사(POS) 태깅을 적용하여 문법적 정확성을 유지하는 동어를 필터링한다.
• 신뢰도 점수 없이도 원래 클래스에서 유도된 동어 집합을 활용해 교체 결정을 이끌어낸다.
• 히우리스틱 기반 선택 과정을 통해 의사결정 경계 쪽으로 입력을 햖थ한 단어를 반복적으로 동어로 교체한다.
• 이중 단계 필터링 도입: 먼저 문장 중요도를 통해 중요한 단어 식별; 이후 POS 및 집합 제약 조건을 활용해 유효한 동어 선택.
• 기울기나 모델 아키텍처에 의존하지 않고 오직 최종 모델 예측값(하드 레이블)만을 활용해 공격를 이끈다.

실험 결과

연구 질문

• RQ1 하드 레이블 블랙박스 설정에서 최종 예측값만 접근 가능한 텍스트 분류기 대상으로 효과적인 대체 예측 예제를 생성할 수 있는가?
• RQ2 신뢰도 점수 없이 단어 수준의 변형 과정에서 문법적 정확성과 의미적 유사성을 어떻게 유지할 수 있는가?
• RQ3 품사 태깅의 세밀함 수준(거시적 대비 미세한)이 문법성과 공격 성공률에 어떤 영향을 미치는가?
• RQ4 기울기나 신뢰도 정보 없이도 동어 집합의 사용이 어떻게 공격 성공률를 향상시키는가?
• RQ5 기존의 블랙박스 공격 프레임워크 대비 제안된 방법이 얼마나 메모리 사용을 줄이는가?

주요 결과

• TextDecepter는 BERT와 같은 최신 모델에 대해 IMDB 및 MR 감성 분석 데이터셋에서 모두 50% 이상의 공격 성공률를 달성한다.
• IMDB 데이터셋에서 동어 집합을 사용할 경우 BERT의 정확도는 88.3%에서 30.9%로 감소하고, 이를 사용하지 않을 경우 63.2%로 감소하여 집합의 핵심적 역할을 입증한다.
• 기존의 단어 수준 변형 기반 공격 프레임워크 대비 메모리 사용량을 줄여 효율성을 향상시킨다.
• 인간 평가 결과, 대체 예측 예제가 원본 텍스트와 높은 문법 정확성과 의미 유사성을 유지함을 확인했다.
• 미세한 품사 태깅은 문법성을 향상시키지만, 거시적 태깅 대비 인간 이해도 향상에 한계를 보이며 실용적 구현에서의 상충 관계를 시사한다.
• 제거 실험 결과, 집합 기반 동어 선택을 제거할 경우 공격 성공률가 증가함(예: IMDB에서 +32%)하여, 신뢰도 점수 없이도 경계를 효과적으로 탐색하기 위해 집합의 중요성이 핵심임을 입증한다.