[논문 리뷰] Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT

Lichao Sun, Kazuma Hashimoto외 5명|arXiv (Cornell University)|2020. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 80

한 줄 요약

이 논문은 자연스러운 키보드 타이핑 오타를 생성하고 그것이 감정 분석과 QA에 미치는 영향을 평가함으로써 BERT의 강건성을 조사하고, 오타에 대한 민감도가 불균형하며 작업에 따라 취약성이 달라진다는 것을 드러낸다.

ABSTRACT

There is an increasing amount of literature that claims the brittleness of deep neural networks in dealing with adversarial examples that are created maliciously. It is unclear, however, how the models will perform in realistic scenarios where extit{natural rather than malicious} adversarial instances often exist. This work systematically explores the robustness of BERT, the state-of-the-art Transformer-style model in NLP, in dealing with noisy data, particularly mistakes in typing the keyboard, that occur inadvertently. Intensive experiments on sentiment analysis and question answering benchmarks indicate that: (i) Typos in various words of a sentence do not influence equally. The typos in informative words make severer damages; (ii) Mistype is the most damaging factor, compared with inserting, deleting, etc.; (iii) Humans and machines have different focuses on recognizing adversarial attacks.

연구 동기 및 목표

• 현실적인 입력 시나리오에서 자연스럽고 키보드에서 파생된 오타에 대한 BERT의 강건성을 평가한다.
• 어떤 단어 유형과 어떤 오타 연산이 BERT의 성능을 가장 저하시키는지 식별한다.
• 감정 분석과 질의 응답 간의 모델 민감도 차이를 인간 독자와 비교하고 작업 간 차이를 살펴본다.
• 부분 단어 토큰화와 단어 분절이 강건성에 미치는 영향을 평가한다.
• 오타에 강건한 더 신뢰할 수 있는 NLP 시스템 구축에 대한 시사점을 제공한다.

제안 방법

• 키보드 문자 분포에 의해 제약된 키보드 오타를 주입하여 자연스러운 악의적 샘플을 생성한다.
• 그라디언트 정보를 사용해 정보가 많은 단어(max-grad), 정보가 적은 단어(min-grad), 또는 무작위 단어를 오타 대상로 선택한다.
• 다섯 가지 오타 유형으로 고려한다: 삽입, 삭제, 교환, 잘못 입력, 발음 오타, 대체-문자.
• 문장당 최대 오타 허용 K를 제한하고 모델 예측을 뒤집는 오타를 점진적으로 탐색한다.
• BERT의 WordPiece 토크나이즈를 사용해 입력을 토큰화하고 감정 분석 및 QA 작업에 미치는 영향을 분석한다.
• 특정 설정에서 문자 정보를 사용하는 모델이 BERT보다 더 강한 강건성을 보이는지 평가하기 위해 GloVe 및 문자 n-그램 임베딩을 사용하는 RNN 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 실제 텍스트 입력에서 BERT가 키보드 파생 오타에 얼마나 강건한가?
• RQ2 어떤 단어(정보성 대 비정보성)와 어떤 오타 유형이 BERT의 예측에 가장 큰 영향을 주는가?
• RQ3 감정 분석과 질의 응답 간에 강건성은 어떻게 다른가?
• RQ4 부분 단어 분절이 오타에 대한 취약성에 얼마나 영향을 미치는가?
• RQ5 사람의 가독성/이해도와 기계의 강건성이 오타 하에서 어떻게 비교되는가?

주요 결과

• 정보성 단어의 오타가 가장 큰 정확도 하락을 유발하며, 한 개의 오타만으로도 성능이 크게 감소할 수 있다.
• 오타 유형 중 잘못 입력하는 것이 가장 파괴적이며, 삽입은 부분 단어 토크나이즈로 인해 일반적으로 영향이 가장 작다.
• BERT의 오타 주의는 불균형적이며, 정보가 많은 단어가 더 많은 변화를 일으키는 경향이 있고 자주 등장하지만 비정보성 단어의 영향은 상대적으로 작다.
• QA(SQuAD)는 감정 분석보다 오타에 더 취약하여 작업 의존적 강건성을 시사한다.
• 사람은 비정보성 단어에서 오타를 더 쉽게 감지하는 반면 모델은 정보성 단어에 더 집중한다.
• 부분 단어 분절은 강건성 차이에 기여하며 문자 정보를 사용하는 모델이 일부 설정에서 BERT보다 더 강건한 경향을 보인다.