[논문 리뷰] Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models

Meng Zhao, Yihan Dong외 2명|arXiv (Cornell University)|2021. 07. 15.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터만을 사용하여 학습 중에 실시간으로 적대적 편향을 생성함으로써 단어 치환 기반 적대적 공격에 대한 BERT의 강건성을 향상시키는 자기지도 대비 학습 방법을 제안한다. 이 방법은 레이블이나 사전 정의된 적대적 예제가 필요 없이 네 개의 데이터셋에서 강건성을 향상시킨다.

ABSTRACT

This paper improves the robustness of the pretrained language model BERT against word substitution-based adversarial attacks by leveraging self-supervised contrastive learning with adversarial perturbations. One advantage of our method compared to previous works is that it is capable of improving model robustness without using any labels. Additionally, we also create an adversarial attack for word-level adversarial training on BERT. The attack is efficient, allowing adversarial training for BERT on adversarial examples generated on the fly during training. Experimental results on four datasets show that our method improves the robustness of BERT against four different word substitution-based adversarial attacks. Furthermore, to understand why our method can improve the model robustness against adversarial attacks, we study vector representations of clean examples and their corresponding adversarial examples before and after applying our method. As our method improves model robustness with unlabeled raw data, it opens up the possibility of using large text datasets to train robust language models.

연구 동기 및 목표

• 사전 학습된 언어 모델, 예를 들어 BERT의 단어 치환 기반 적대적 공격에 대한 강건성을 향상시키는 것.
• 레이블 데이터나 사전 계산된 적대적 예제에 의존하지 않고 강건성을 향상시키는 방법을 개발하는 것.
• BERT 학습과 호환되는 효율적인 실시간 적대적 공격 생성 메커니즘을 설계하는 것.
• 청결한 예제와 적대적 예제의 표현 수준에서의 변화를 분석함으로써 강건성이 향상되는 원리를 이해하는 것.

제안 방법

• 이 방법은 청결한 입력 문장과 그 적대적으로 편향된 복제본의 표현을 정렬하기 위해 자기지도 대비 학습을 활용한다.
• 적대적 예제는 청결한 문장의 단어를 의미적으로 유사하지만 적대적인 토큰으로 대체하는 방식으로 학습 중에 동적으로 생성된다.
• 대비 손실은 동일한 입력 문장의 청결한 버전과 적대적인 버전이 유사한 표현을 생성하도록 유도한다.
• 이 방법은 원시적인 레이블이 없는 텍스트에서 종단 간(end-to-end)으로 학습되어 대규모 데이터셋에 대한 확장성을 보장한다.
• 실시간 편향 생성을 가능하게 하며, 온라인 학습과 호환되는 효율적인 신규 적대적 공격이 설계되었다.
• 이 방법은 단어 수준의 편향에 강건한 표현 불변성을 학습함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 대비 학습은 레이블을 사용하지 않고 BERT의 단어 치환 기반 적대적 공격에 대한 강건성을 어떻게 향상시킬 수 있는가?
• RQ2 실시간으로 생성되는 적대적 예제의 영향은 모델의 강건성과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 제안된 방법을 적용하기 전과 이후에 청결한 예제와 적대적 예제의 학습된 표현은 어떻게 다를까?
• RQ4 이 방법을 통해 대규모 레이블이 없는 텍스트를 효과적으로 활용하여 강건한 언어 모델을 훈련시킬 수 있는가?

주요 결과

• 제안된 방법은 네 개의 벤치마크 데이터셋에서 네 가지의 다른 단어 치환 기반 적대적 공격에 대해 BERT의 강건성을 향상시켰다.
• 모델은 레이블 데이터를 전혀 사용하지 않고도 자기지도 학습과 적대적 편향에 의존하여 강건성을 향상시켰다.
• 표현 분석 결과, 청결한 예제와 적대적 예제의 임베딩 간 거리가 감소하여 표현 수준에서의 강건성이 향상되었음을 시사한다.
• 이 방법은 학습 과정 중에 실시간으로 적대적 예제를 생성함으로써 효율적인 적대적 훈련을 가능하게 하였다.
• 이 방법은 대규모 텍스트 데이터셋으로의 확장성이 입증되었으며, 방대한 레이블이 없는 코퍼스에서 강건한 모델을 훈련시킬 수 있는 길을 열었다.