[논문 리뷰] Token-Modification Adversarial Attacks for Natural Language Processing: A Survey

Tom Roth, Yansong Gao외 3명|arXiv (Cornell University)|2021. 03. 01.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 종합 검토는 자연어 처리(NLP) 분야의 토큰 수정 공격에 대해 구성요소 중심의 프레임워크를 도입하여, 목표 함수, 변환, 탐색 방법, 제약 조건의 네 핵심 구성요소로 공격를 체계적으로 분류한다. 이는 공격 간 비교, 재현 가능성, 집중적 연구를 가능하게 하는 통합적이고 공격에 의존하지 않는 분류 체계를 제공하며, 표준화 부족과 다중모odal 또는 어휘 수준 공격 탐색의 제한성과 같은 핵심 과제를 밝혀낸다.

ABSTRACT

Many adversarial attacks target natural language processing systems, most of which succeed through modifying the individual tokens of a document. Despite the apparent uniqueness of each of these attacks, fundamentally they are simply a distinct configuration of four components: a goal function, allowable transformations, a search method, and constraints. In this survey, we systematically present the different components used throughout the literature, using an attack-independent framework which allows for easy comparison and categorisation of components. Our work aims to serve as a comprehensive guide for newcomers to the field and to spark targeted research into refining the individual attack components.

연구 동기 및 목표

• 자연어 처리(NLP) 분야의 공격 방법 간 비교 기준이 부족한 문제를 해결하기 위해 구성요소 중심의 프레임워크를 도입한다.
• 작업 또는 목표에 따라 표면적인 분류를 넘어선 토큰 수정 공격의 체계적 분류를 실현한다.
• 표준화되지 않은 위협 모델과 자동화된 메트릭에 대한 과도한 의존성과 같은 현재 연구의 핵심 한계를 규명한다.
• 다중모달 공격과 어휘 수준 수정과 같은 미충분한 탐색 영역을 강조함으로써 향후 연구를 이끌어낸다.
• 실제성과 품질을 향상시키기 위해 인간이 참여하는 평가 방법을 지지한다.

제안 방법

• 논문은 목표 함수, 허용 가능한 변환, 탐색 방법, 제약 조건의 네 구성요소로 구성된 프레임워크를 제안하며, 각 공격를 제약 조건이 있는 탐색 문제로 간주한다.
• 기존 공격들을 이러한 네 구성요소로 분해하여 체계적인 검토를 수행함으로써 공격 간 비교 및 분류를 가능하게 한다.
• 이 프레임워크는 텍스트 분류, 기계 번역, 감성 분석 등 다양한 NLP 작업에서의 토큰 수정 공격 분석에 적용된다.
• 저자들은 이 프레임워크를 통해 공격 설계의 패턴과 차이점을 규명하며, 많은 공격들이 외관상으로는 다를지라도 실제로는 오직 하나의 구성요소만 다를 뿐임을 밝혀낸다.
• 평가 관행에 대한 비판적 검토를 포함하며, 자동화된 메트릭의 결함을 지적하고 인간 피드백 또는 RLHF 기반 보상 모델을 권장한다.
• 이 방법은 다중 토큰 어휘 수준의 수정이나 다중모달 공격 예제와 같은 미충분한 탐색이 이루어진 공격 유형을 식별하는 데 기여한다.

Figure 1: Example of a token-modification adversarial attack on a machine translation model.

실험 결과

연구 질문

• RQ1 자연어 처리(NLP) 분야의 공격를 작업 중심 또는 목표 중심의 분류를 넘어선 체계적인 분류 방법은 무엇인가?
• RQ2 토큰 수정 공격을 정의하는 핵심 구성요소는 무엇이며, 기존 방법들 사이에서 이 구성요소들은 어떻게 다름이 있는가?
• RQ3 현재 평가 메트릭이 왜 인간의 판단과의 관련성이 떨어지는지, 그리고 이를 어떻게 개선할 수 있는가?
• RQ4 현행 공격 연구의 핵심 한계는 무엇이며, 특히 실제 적용 가능성과 표준화 측면에서 어떤 문제가 있는가?
• RQ5 어휘 수준 또는 다중모달 공격을 어떻게 개발하고 평가하여 공격의 다양성과 현실성의 수준을 높일 수 있는가?

주요 결과

• 구성요소 중심의 프레임워크는 공격 간의 더 세밀하고 비교 가능한 분석을 가능하게 하며, 많은 공격들이 외관상으로는 다를지라도 실제로는 오직 하나의 구성요소만 다름을 드러낸다.
• 많은 기존 공격들이 단일 토큰 수정에 의존함으로써 가능한 공격 예제의 범위가 제한되고 현실성도 낮아진다.
• 현재 평가 관행은 유창성과 의미 유사도와 같은 자동화된 메트릭에 크게 의존하며, 이는 종종 인간의 판단과 부정확하게 관련되어 있다.
• 연구 간 복제 가능성과 비교의 어려움을 초래하는 바탕이 되는 위협 모델, 변환, 제약 조건의 표준화 부족이 심각한 문제로 존재한다.
• 은어나 어휘를 대체하는 어휘 수준의 공격는 아직 충분히 탐색되지 않았지만, 단일 토큰 수정보다 더 큰 융통성과 현실성을 제공한다.
• RLHF나 상호작용 인터페이스를 통한 인간 피드백을 통합하면, 공격 예제의 품질과 신뢰성은 크게 향상될 수 있다.

Figure 2: This example, from the TextAttack [ 5 ] documentation, neatly demonstrates how token-modification attacks ( [ 6 ] and [ 7 ] here) are made up of a combination of four components. For an easy comparison, the TextAttack paper [ 5 ] also provides a table that summarises the combinations of a