[논문 리뷰] A Survey: Towards a Robust Deep Neural Network in Text Domain

Wenqi Wang, Lina Wang외 3명|arXiv (Cornell University)|2019. 02. 12.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 텍스트 기반 딥 뉴럴 네트워크(DNN)에서의 적대적 공격 및 방어에 대한 종합적인 서베이를 제시하며, NLP 작업 전반에 걸쳐 공격과 방어를 분류하고, 테스트 및 검증을 통한 강건성 확보를 제안한다. 이 분야의 핵심 과제를 규명하고 미래 연구 방향을 제시한다.

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in various tasks (e.g., image classification, speech recognition, and natural language processing). However, researches have shown that DNN models are vulnerable to adversarial examples, which cause incorrect predictions by adding imperceptible perturbations into normal inputs. Studies on adversarial examples in image domain have been well investigated, but in texts the research is not enough, let alone a comprehensive survey in this field. In this paper, we aim at presenting a comprehensive understanding of adversarial attacks and corresponding mitigation strategies in texts. Specifically, we first give a taxonomy of adversarial attacks and defenses in texts from the perspective of different natural language processing (NLP) tasks, and then introduce how to build a robust DNN model via testing and verification. Finally, we discuss the existing challenges of adversarial attacks and defenses in texts and present the future research directions in this emerging field.

연구 동기 및 목표

• 텍스트 기반 딥 뉴럴 네트워크에서의 적대적 공격 및 방어에 대한 체계적인 분류 체계를 제공하기 위해.
• 청결한 데이터에서 높은 성능을 보이는 DNN가 미세한 입력 변형으로 인해 취약해지는 이유를 분석하기 위해.
• 텍스트 DNN 모델의 강건성 테스트 및 검증을 위한 방법을 탐색하기 위해.
• 현재 적대적 강건성 분야의 열린 과제를 규명하고, NLP 분야의 미래 연구 방향을 제안하기 위해.

제안 방법

• 텍스트 분류 및 시퀀스 레이블링과 같은 다양한 NLP 작업을 기반으로 적대적 공격 및 방어를 분류하기 위해.
• 적대적 테스트 및 검증 기법을 활용하여 모델 강건성을 평가하는 프레임워크를 제안하기 위해.
• 적대적 훈련, 입력 정제, 모델 정규화와 같은 기존 방어 기법들을 조사하기 위해.
• 현재 접근 방식이 다양한 NLP 작업과 데이터 분포 간에 일반화하는 데에 한계가 있음을 분석하기 위해.
• 강건성 평가를 위한 표준화된 벤치마크와 평가 프로토콜의 중요성을 강조하기 위해.
• 이미지 도메인의 적대적 연구에서 도출된 통찰을 바탕으로 텍스트 기반 강건성 전략을 설계하기 위해.

실험 결과

연구 질문

• RQ1 텍스트 도메인의 적대적 공격는 다양한 NLP 작업에 따라 어떻게 분류되는가?
• RQ2 텍스트 분류 및 생성 작업에서 DNN의 강건성을 향상시키기 위해 가장 효과적인 방어 전략은 무엇인가?
• RQ3 적대적 테스트 및 검증은 어떻게 효과적으로 텍스트 DNN에 적용될 수 있는가?
• RQ4 현재 NLP 분야의 적대적 강건성 기법에서 가장 핵심적인 한계는 무엇인가?
• RQ5 더 강건한 텍스트 기반 딥 뉴럴 네트워크를 구축하기 위해 필요한 미래 연구 방향은 무엇인가?

주요 결과

• 적대적 공격는 청결한 데이터에서 높은 성능을 내는 DNN를 혼란스럽게 만들 수 있는 미세하고 인식하기 어려운 변형을 통해 효과적으로 작용한다.
• 적대적 훈련과 같은 현재의 방어 방법은 전망은 있지만, 다양한 NLP 작업 간 일반화 능력에 빈도가 떨어진다.
• 테스트 및 검증을 통한 강건성 평가는 필수적이지만, 이미지 분야에 비해 텍스트 도메인에서는 아직 탐색이 부족하다.
• NLP 분야의 적대적 강건성에 대한 표준화된 벤치마크와 평가 프로토콜의 부족함이 존재한다.
• 향후 연구는 다양한 NLP 응용 분야에서 강건한 모델의 일반화, 해석 가능성, 이식 가능성 향상에 초점을 맞춰야 한다.
• 이 분야는 이미지 도메인에 비해 아직 연구가 부족한 상태이며, 더 포괄적인 연구가 필요함을 시사한다.