[논문 리뷰] Adversarial Attacks and Defense on Texts: A Survey

Aminul Huq, Mst. Tasnim Pervin|arXiv (Cornell University)|2020. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 13

한 줄 요약

이 종합 검토는 자연어 처리에서의 적대적 공격 및 방어 기법에 대한 포괄적인 분석을 제공하며, 공격 방법을 변형 수준별로, 방어 전략을 접근 방식별로 분류한다. 이는 이산적 텍스트 데이터, 인지 불가능성 문제, 벤치마크 부족, 통합된 방어 모델 부재 등의 주요 과제를 밝히며, 표준화된 툴킷과 텍스트용 일반화된 변형이 필요하다고 강조한다.

ABSTRACT

Deep learning models have been used widely for various purposes in recent years in object recognition, self-driving cars, face recognition, speech recognition, sentiment analysis, and many others. However, in recent years it has been shown that these models possess weakness to noises which force the model to misclassify. This issue has been studied profoundly in the image and audio domain. Very little has been studied on this issue concerning textual data. Even less survey on this topic has been performed to understand different types of attacks and defense techniques. In this manuscript, we accumulated and analyzed different attacking techniques and various defense models to provide a more comprehensive idea. Later we point out some of the interesting findings of all papers and challenges that need to be overcome to move forward in this field.

연구 동기 및 목표

• 텍스트 딥러닝 모델에서의 적대적 공격 및 방어 기법을 체계적으로 분석하고 분류하는 것.
• 현재의 적대적 NLP 연구에서의 한계와 과제를 특정화하는 것, 특히 이산적 데이터, 인지 불가능성, 표준화 부족에 초점 맞추기.
• 감성 분석, 기계 번역, 질의응답 등의 NLP 작업에서 기존 공격 및 방어 방법을 비교하는 것.
• 연구 초점의 불균형을 부각하는 것—대부분의 연구가 공격에 집중하는 반면, 방어는 여전히 미비하게 다뤄지고 있음.
• 향후 연구 방향 제안, 통합된 방어 모델, 일반화된 변형, 표준화된 벤치마크 및 툴킷의 필요성 포함.

제안 방법

• 분류, 번역, 질의응답 작업을 포함한 100여 편 이상의 연구 논문을 바탕으로 NLP에서의 적대적 공격 및 방어에 대한 체계적 문헌 리뷰를 수행한다.
• 변형 수준(단어, 서브워드, 문자)과 공격 전략(기울기 기반, 검색 기반, 히우리스틱 기반)에 따라 공격을 분류하며, HotFlip 및 TextAttack 등의 방법에서 예시를 제공한다.
• 방어는 적대적 훈련, 입력 변환, 모델 딜리게이션, 강건한 아키텍처 설계로 분류되며, 철자 기반 공격에 대해 SEM 및 Pruthi 등(2019)의 구체적 사례를 제시한다.
• IMDB, SNLI, SQuAD, WMT 등의 데이터셋을 기반으로 공격 수준 및 방어 메커니즘의 분류 체계를 평가하고, 기술 간 효과성을 비교한다.
• 기존 종합 검토의 비교 분석을 통해 격차를 규명하고, 텍스트 적대적 연구에 대한 표준 벤치마크나 오픈소스 툴킷의 부재를 강조한다.
• 공격 생성 전략과 방어 구현 방식의 철저한 검토를 바탕으로, 연구 결과, 과제, 열린 문제에 대한 비판적 통합을 수행한다.

실험 결과

연구 질문

• RQ1 자연어 처리에서의 적대적 공격 주요 분류 및 분류 체계는 무엇이며, 영상 기반 공격과 어떻게 다를까?
• RQ2 현재의 방어 메커니즘이 텍스트에서 다양한 유형의 적대적 공격을 얼마나 효과적으로 완화하는가, 그리고 그 한계는 무엇인가?
• RQ3 왜 인지 불가능성이 영상보다 텍스트에서 더 어렵고, 텍스트의 이산적 성격은 적대적 공격 설계에 어떻게 影향을 미치는가?
• RQ4 벤치마크 부족 및 표준 툴킷 부재 등, 적대적 NLP 발전을 저해하는 핵심 과제는 무엇인가?
• RQ5 다양한 공격 유형을 처리할 수 있는 통합된 방어 전략을 개발할 수 있는가, 아니면 현재의 방어는 본질적으로 작업 및 공격 유형에 특화되어 있는가?

주요 결과

• 점이나 공백과 같은 문자 수준의 변형은 모델 예측을 크게 변화시킬 수 있으며, 이는 미미한 변화가 모델의 강건성에 침해를 줄 수 있음을 시사한다.
• 대부분의 연구가 공격 전략에 집중하고 있으며, 방어에 할애된 비중은 극히 소수에 그쳐 연구 주의의 심각한 불균형을 보인다.
• 텍스트에서의 대부분의 적대적 예제 생성은 두 단계 과정을 따르며, 가장 영향력 있는 단어를 식별하고, 모델을 오도할 수 있는 대체 후보어로 교체한다.
• 기존의 방어 전략 중 어떤 것도 동의어 기반 또는 철자 기반 공격을 효과적으로 처리할 수 없으며, 이는 통합된 방어 프레임워크의 부재를 보여준다.
• 텍스트 적대적 연구에 대한 표준 벤치마크와 오픈소스 툴킷의 부재는 메서드 간 재현성과 공정한 비교를 저해한다.
• 여러 입력에 효과적인 일반화된 변형은 영상 분야와 달리 아직 텍스트에 성공적으로 확장되지 못했으며, 이는 주요 열린 과제이다.