[논문 리뷰] Contrastive Learning with Adversarial Perturbations for Conditional Text Generation

Seanie Lee, Dong Bok Lee외 1명|arXiv (Cornell University)|2020. 12. 14.

Topic Modeling참고 문헌 50인용 수 9

한 줄 요약

이 논문은 조건부 텍스트 생성에서 노출 편향을 완화하기 위해 대비 학습 방법인 CLAPS를 제안한다. 이는 적대적 페르튜베이션을 통해 딱딱한 양성 및 부정성 예제를 생성함으로써 작동한다. 부정 예제에 대해 조건부 우도를 최소화하고, 의미적으로 유사하지만 거리가 먼 양성 예제에 대해 높은 우도를 강제함으로써, 기계 번역, 텍스트 요약, 질문 생성 등 다양한 작업에서 일반화 성능을 향상시킨다. 기존의 기준 모델 대비 일관된 성능 향상을 보였다.

ABSTRACT

Recently, sequence-to-sequence (seq2seq) models with the Transformer architecture have achieved remarkable performance on various conditional text generation tasks, such as machine translation. However, most of them are trained with teacher forcing with the ground truth label given at each time step, without being exposed to incorrectly generated tokens during training, which hurts its generalization to unseen inputs, that is known as the "exposure bias" problem. In this work, we propose to mitigate the conditional text generation problem by contrasting positive pairs with negative pairs, such that the model is exposed to various valid or incorrect perturbations of the inputs, for improved generalization. However, training the model with naive contrastive learning framework using random non-target sequences as negative examples is suboptimal, since they are easily distinguishable from the correct output, especially so with models pretrained with large text corpora. Also, generating positive examples requires domain-specific augmentation heuristics which may not generalize over diverse domains. To tackle this problem, we propose a principled method to generate positive and negative samples for contrastive learning of seq2seq models. Specifically, we generate negative examples by adding small perturbations to the input sequence to minimize its conditional likelihood, and positive examples by adding large perturbations while enforcing it to have a high conditional likelihood. Such "hard" positive and negative pairs generated using our method guides the model to better distinguish correct outputs from incorrect ones. We empirically show that our proposed method significantly improves the generalization of the seq2seq on three text generation tasks - machine translation, text summarization, and question generation.

연구 동기 및 목표

• 교사 강제 학습 방식으로 훈련된 시퀀스 투 시퀀스 모델에서 발생하는 노출 편향 문제를 해결하기 위해, 훈련 중에 잘못된 생성 결과에 노출되지 않는 문제를 해결한다.
• 다양하고 의미 있는 양성 및 부정성 예제를 훈련 중에 노출시킴으로써 모델의 일반화 능력을 향상시키기 위해 노력한다.
• 무작위 부정 예제를 사용하는 단순한 대비 학습의 한계를 극복하기 위해, 쉽게 구분 가능한 부정 예제로 인해 성능이 열등한 문제를 해결한다.
• 숨겨진 표현에 대한 적대적 페르튜베이션을 사용하여 의미적으로 유의미한 딱딱한 양성 및 부정성 쌍을 생성하는 원칙적인 방법을 개발한다.
• 제안된 방법이 여러 조건부 텍스트 생성 작업 전반에서 효과적임을 입증한다.

제안 방법

• 입력 시퀀스의 은닉 표현에 작은 페르튜베이션을 추가하여 조건부 우도를 최소화함으로써 부정 예제를 생성한다.
• 목표 시퀀스의 은닉 표현에 큰 페르튜베이션을 적용하면서도, KL 발산 최소화를 통해 높은 조건부 우도를 강제함으로써 양성 예제를 생성한다.
• 결과적으로 생성된 딱딱한 양성 및 부정성 쌍을 대비 학습 프레임워크에 활용하여, 모델이 정확한 출력과 잘못된 출력을 구분하는 능력을 향상시킨다.
• 원본 및 페르튜베이션된 입력-출력 쌍을 모두 사용하여 대비 손실을 적용함으로써 시퀀스 투 시퀀스 모델을 엔드 투 엔드로 훈련한다.
• 생성된 페르튜베이션의 품질을 향상시키고 일반화 능력을 강화하기 위해 사전 훈련된 모델을 활용한다.
• 여러 텍스트 생성 작업에 걸쳐 트랜스포머 아키텍처를 가진 시퀀스 투 시퀀스 모델에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 적대적으로 생성된 딱딱한 부정성 및 양성 예제는 조건부 텍스트 생성에서 모델의 일반화 능력을 향상시키는가?
• RQ2 의도적으로 페르튜베이션을 사용한 대비 학습은 무작위 부정 예제를 사용하는 단순한 대비 학습보다 성능과 내성적 안정성 측면에서 어떻게 비교되는가?
• RQ3 강화 학습이나 GAN 기반 훈련 없이도 제안된 방법이 시퀀스 투 시퀀스 모델의 노출 편향을 효과적으로 줄일 수 있는가?
• RQ4 CLAPS는 기계 번역, 요약, 질문 생성과 같은 다양한 텍스트 생성 작업에서 얼마나 성능을 향상시키는가?
• RQ5 딱딱하고 의미적으로 유의미한 대비 쌍을 사용해 훈련했을 때, 모델이 정확한 출력과 잘못된 출력을 구분하는 능력은 어떻게 향상되는가?

주요 결과

• CLAPS는 기계 번역, 텍스트 요약, 질문 생성과 같은 세 가지 텍스트 생성 작업에서 일반화 능력을 크게 향상시켰다.
• 강력한 기준 모델들, 즉 교사 강제 학습 방식으로 훈련된 모델과 무작위 부정 예제를 사용한 대비 학습 모델 대비 일관된 성능 향상을 달성했다.
• 의미적으로 타당한 딱딱한 부정 예제에 노출됨으로써 CLAPS로 훈련된 모델는 분포 이탈이나 미리 보지 못한 입력에 대해 더 높은 내성적 안정성을 보였다.
• 실험 결과, CLAPS가 생성한 대비 쌍은 무작위 부정 예제보다 훨씬 더 구분하기 어려운 것으로 나타났다. 이는 양성-부정 쌍에 대해 제로샷 분류 정확도가 낮게 나타남으로써 입증되었다.
• 적대적 페르튜베이션을 사용해 딱딱한 양성 및 부정 예제를 생성함으로써, 특히 자원이 적거나 도메인이 다른 환경에서 모델의 예측과 정답 간의 일치도가 향상되었다.
• 무작위 부정 예제를 쉽게 식별할 수 있기 때문에, 단순한 대비 학습이 실패하는 대규모 코퍼스에서 사전 훈련된 모델에 적용해도 이 방법은 효과가 있었다.