[논문 리뷰] Adversarial Training with Contrastive Learning in NLP

Daniela N. Rim, DongNyeong Heo외 1명|arXiv (Cornell University)|2021. 09. 19.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은 대비 학습을 통한 대비적 학습(Adversarial Training with Contrastive Learning, ATCL)을 제안하며, 임베딩 공간에서 빠른 기울기 방법(Fast Gradient Method, FGM)을 사용해 입력에 대한 대비적 편향을 생성하고, 대비적 표현 간 유사성을 대비 학습을 통해 강제함으로써 NLP 모델의 강건성을 향상시킨다. 사전 훈련된 모델에 의존하지 않고도 언어 모델링 및 신경 기계 번역 작업에서 더 나은 의미 보존을 달성하며, 더 낮은 퍼플렉서티와 더 높은 BLEU 점수를 기록한다.

ABSTRACT

For years, adversarial training has been extensively studied in natural language processing (NLP) settings. The main goal is to make models robust so that similar inputs derive in semantically similar outcomes, which is not a trivial problem since there is no objective measure of semantic similarity in language. Previous works use an external pre-trained NLP model to tackle this challenge, introducing an extra training stage with huge memory consumption during training. However, the recent popular approach of contrastive learning in language processing hints a convenient way of obtaining such similarity restrictions. The main advantage of the contrastive learning approach is that it aims for similar data points to be mapped close to each other and further from different ones in the representation space. In this work, we propose adversarial training with contrastive learning (ATCL) to adversarially train a language processing task using the benefits of contrastive learning. The core idea is to make linear perturbations in the embedding space of the input via fast gradient methods (FGM) and train the model to keep the original and perturbed representations close via contrastive learning. In NLP experiments, we applied ATCL to language modeling and neural machine translation tasks. The results show not only an improvement in the quantitative (perplexity and BLEU) scores when compared to the baselines, but ATCL also achieves good qualitative results in the semantic level for both tasks without using a pre-trained model.

연구 동기 및 목표

• 소규모 입력 편향에 대해 NLP 모델의 강건성을 확보하면서도 의미를 유지하는 문제를 해결하기 위해.
• 기존의 대비 학습 방법이 의미 정규화를 위해 외부 사전 훈련된 모델에 의존하는 한계를 극복하기 위해.
• 대비 학습이 사전 훈련된 모델의 경량 대체 수단으로서 의미 유사성을 강제하는 데 효과적인지 탐색하기 위해.
• 언어 모델링 및 신경 기계 번역 작업에서 대비적 편향 하에서 의미 일관성을 유지하는 데에 대비 학습의 효과를 평가하기 위해.

제안 방법

• 입력 토큰의 임베딩 공간에서 빠른 기울기 방법(Fast Gradient Method, FGM)을 적용하여 대비적 편향을 생성한다.
• 고차원 네트워크 레이어에서 원본 입력과 편향된 입력의 표현 간 거리를 최소화하기 위해 대비 학습을 사용한다.
• 동일한 미니배치에서 무작위로 샘플링하여 음성 샘플을 구성함으로써 원본 표현과 더 멀리 떨어져 있도록 보장한다.
• 표준 작업 손실(예: 교차 엔트로피)과 대비 손실을 조합하여 종합 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 표현 공간에서의 대비 최적화를 통해 직접적으로 의미 유사성을 학습함으로써 사전 훈련된 모델에 대한 의존도를 제거한다.
• 표준 Transformer 아키텍처를 사용하여 언어 모델링 및 신경 기계 번역 작업에 이 방법을 적용한다.

Figure 1: Basic architecture for our proposed approach. A batch $\mathbf{S}$ of sentences $\mathbf{s}_{k}$ are given as an input. After the embedding layer we compute the perturbed example in one of the randomly selected tokens from the mask $\mathcal{M}$ . Both sentences are forwarded through the m

실험 결과

연구 질문

• RQ1 사전 훈련된 모델에 의존하지 않고도 대비 학습이 NLP에서 원본 입력과 대비적 편향된 입력 간의 의미 유사성을 효과적으로 강제할 수 있는가?
• RQ2 ATCL은 표준 대비 학습 및 기준 모델에 비해 언어 모델링 및 번역 작업에서 강건성과 성능 면에서 어떻게 비교되는가?
• RQ3 대비 학습을 통해 의미 보존이 향상되어 대비적 편향 이후 예측에서 더 나은 의미 일관성을 달성하는가?
• RQ4 BPE 토크나이제이션을 사용할 경우 NMT 작업에서 ATCL의 성능 향상 폭이 감소하는 이유는 무엇이며, 이는 음성 샘플링에 어떤 영향을 미치는가?

주요 결과

• 언어 모델링 작업에서 ATCL는 테스트 퍼플렉서티 24.63을 기록하여 기준 모델(24.61)과 기준 모델 + 대비 학습(25.04)을 모두 앞서며, 더 높은 강건성과 일반화 능력을 보여주었다.
• 신경 기계 번역에서 ATCL는 IWSLT15 De-En 번역 작업에서 BLEU 점수 36.40을 기록하여 기준 모델(35.23)과 기준 모델 + 대비 학습(35.02)을 초월하며 번역 품질 향상을 보였다.
• 정성적 분석 결과, ATCL가 생성한 번역은 복잡한 어휘나 관용어 표현을 다룰 때 기준 모델 및 단순 대비 학습 모델보다 원문 문장의 의미를 더 정확히 유지하는 것으로 나타났다.
• 이 방법은 일관된 의미 강건성을 보였으며, 대비적 편향이 가해진 후에도 ATCL는 일관되고 의미 있는 예측을 유지하는 반면, 기준 모델은 종종 의미가 떨어진 출력을 생성하는 경향이 있었다.
• NMT 작업에서의 성능 저하 원인은 BPE 토크나이제이션에 기인한 것으로, 이는 하위어 단위 표현이 의미 유사성과 잘 맞지 않을 수 있으며 특히 음성 샘플링에 영향을 줄 수 있다.
• NMT에서 BLEU 점수 향상 폭이 제한적이지만, 정성적 결과는 ATCL가 번역의 의미 정확도를 향상시켜 대비 학습이 표준 지표를 넘어서 의미 강건성을 향상시킬 수 있음을 시사한다.