[논문 리뷰] DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation

Catherine Wong|arXiv (Cornell University)|2017. 12. 14.

Adversarial Robustness in Machine Learning참고 문헌 5인용 수 20

한 줄 요약

DANCin SEQ2SEQ는 모델 파라미터에 접근할 수 없는 블랙박스 텍스트 분류기의 오류를 유도하기 위해 GAN 유사 기법과 강화학습 기반의 방법을 제안한다. 이 방법은 의미적으로 유의미한 적대적 텍스트 예제를 생성하여 실제 악성 스팸 필터링과 같은 공격 시나리오에서의 실현 가능성을 입증한다.

ABSTRACT

Machine learning models are powerful but fallible. Generating adversarial examples - inputs deliberately crafted to cause model misclassification or other errors - can yield important insight into model assumptions and vulnerabilities. Despite significant recent work on adversarial example generation targeting image classifiers, relatively little work exists exploring adversarial example generation for text classifiers; additionally, many existing adversarial example generation algorithms require full access to target model parameters, rendering them impractical for many real-world attacks. In this work, we introduce DANCin SEQ2SEQ, a GAN-inspired algorithm for adversarial text example generation targeting largely black-box text classifiers. We recast adversarial text example generation as a reinforcement learning problem, and demonstrate that our algorithm offers preliminary but promising steps towards generating semantically meaningful adversarial text examples in a real-world attack scenario.

연구 동기 및 목표

• 모델 파라미터가 알려지지 않은 블랙박스 환경에서 효과적인 적대적 예제 생성 방법의 부족을 해결하기 위해.
• 원본 입력과 의미적으로 유사성을 유지하면서 오분류 확률을 높이는 실용적인 적대적 텍스트 예제 생성 방법을 개발하기 위해.
• 강화학습과 GAN 유사 프레임워크가 이산적이고 순차적인 텍스트 데이터에 적응하여 적대적 목적을 달성할 수 있는지 탐색하기 위해.
• 적대적 예제를 생성함으로써 텍스트 분류기의 기본 가정을 드러내는 데 통찰을 제공하기 위해.
• Enron 데이터셋을 사용하여 실생활 이진 텍스트 분류 작업—스팸 대 험메일 필터링—에서 방법을 평가하기 위해.

제안 방법

• REINFORCE 정책 기반 강화학습 방법을 사용하여 적대적 텍스트 예제 생성 문제를 재정의한다.
• 생성자 모델이 변형된 텍스트 시퀀스를 생성하고, 타깃 분류기의 보상 신호를 활용하여 이산적 텍스트 생성에 GAN 유사 학습을 적용한다.
• 의미적 유사성 감소를 방지하고 타깃 모델의 오분류 확률 증가를 장려하기 위해 보상 함수를 설계한다.
• 타깃 분류기의 출력 확률 기반으로 디스커미네이터 유사 피드백 메커니즘을 활용하여 생성자를 이끌어낸다.
• 학습 중 모드 붕괴를 방지하고 탐색을 향상시키기 위해 저신뢰도 예제에서 생성자를 사전 학습한다.
• 반복 토큰에 대한 페널티와 단계별 보상(정규화된 보상 시스템, REGS) 설정을 통해 학습 안정성을 높인다.

실험 결과

연구 질문

• RQ1 모델 파라미터에 접근할 수 없는 블랙박스 환경에서 적대적 텍스트 예제를 효과적으로 생성할 수 있는가?
• RQ2 강화학습과 GAN 유사 학습이 이산적 텍스트 시퀀스에서 의미적으로 유의미한 적대적 변형을 생성하는 데 적응 가능한가?
• RQ3 생성된 적대적 예제가 의미적 유사성을 유지하면서 타깃 텍스트 분류기의 오분류 확률을 얼마나 높일 수 있는가?
• RQ4 이 방법으로 생성된 적대적 예제 분석을 통해 타깃 모델의 기본 가정은 어떤 것이 드러나는가?
• RQ5 이러한 GAN 유사 프레임워크의 텍스트 도메인에서의 학습 과정은 얼마나 안정적이고 효과적인가?

주요 결과

• 생성자는 스팸과 높은 관련성을 가진 토큰을 의미적으로 유사한 대체어로 교체함으로써 오분류 확률을 높이는 데 성공한다.
• 학습의 불안정성과 모드 붕괴가 존재하더라도, 많은 경우 인간이 인식하는 의미적 유사성을 유지하는 적대적 예제를 생성한다.
• 저신뢰도 예제에서의 사전 학습은 탐색을 향상시키고 더 복잡하고 의미 있는 토큰 치환을 발견하는 데 도움을 준다.
• 의미 유사성을 유지하지 못하는 적대적 예제조차도, 예를 들어 나이브 베이즈 분류기에서 단어 집합 기반 특징에 의존하는 등의 타깃 모델의 기본 가정을 드러낸다.
• 이 방법은 실생활 블랙박스 공격에 대해 실현 가능하며, 모델 취약점을 탐색하는 데 실용적인 프레임워크를 제공한다.
• 초기 결과는 정책 기반 강화학습을 사용한 GAN 유사 학습이 적대적 텍스트 예제 생성에 실현 가능한 길이지만, 안정성 문제는 여전히 남아 있다.