[논문 리뷰] Unsupervised Paraphrase Generation via Dynamic Blocking.

Tong Niu, Semih Yavuz외 4명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 54인용 수 14

한 줄 요약

이 논문은 BART와 T5와 같은 대규모 사전 훈련된 자동회귀 모델이 소스 토큰의 재생성을 차단함으로써 비지도 설정에서 고품질의 다수의 어색한 표현을 생성할 수 있도록 하는 동적 차단(Dynamic Blocking)이라는 디코딩 알고리즘을 소개한다. 이 방법은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 추가 트레이닝 없이 다양한 언어로 일반화된다.

ABSTRACT

We propose Dynamic Blocking, a decoding algorithm which enables large-scale pretrained autoregressive models (such as BART, T5, GPT-2 and XLNet) to generate high-quality paraphrases in an unsupervised setting. In order to obtain an alternative surface form, whenever the language model emits a token that is present in the source sequence, we prevent the model from generating the subsequent source token for the next time step. We show that our approach achieves state-of-the-art results on benchmark datasets when compared to previous unsupervised approaches, and is even comparable with strong supervised, in-domain models. We also propose a new automatic metric based on self-BLEU and BERTscore which not only discourages the model from copying the input through, but also evaluates text similarity based on distributed representations, hence avoiding reliance on exact keyword matching. In addition, we demonstrate that our model generalizes across languages without any additional training.

연구 동기 및 목표

• 대규모 사전 훈련된 자동회귀 모델을 사용하여 비지도 설정에서 문장 다수 표현 생성을 가능하게 하는 디코딩 전략을 개발하는 것.
• 디코딩 중 소스 토큰의 중복 재생성을 방지함으로써 문장 다수 표현 품질을 향상시키는 것.
• 정확한 키워드 매칭에 의존하지 않는 강력한 자동 평가 지표를 만드는 것.
• 추가 학습 없이 제로샷 다국어 문장 다수 표현 생성을 가능하게 하는 것.
• 단지 비지도 사전 훈련을 통해 초과된 지도 학습, 도메인 내 모델 수준의 성능을 달성하는 것.

제안 방법

• 동적 차단은 최근 생성된 토큰이 다시 다음 타임스텝에서 생성되지 않도록 방지함으로써 표면적 다양성을 증진시킨다.
• 이 방법은 BART, T5, GPT-2, XLNet와 같은 모든 자동회귀 모델에 디코딩 중 적용 가능하다.
• 정확한 매칭 없이 문장 다수 표현 품질을 평가하기 위해 자체 BLEU와 BERTscore를 조합한 새로운 자동 지표를 제안한다.
• 맥락 기반 임bedding를 사용하여 생성된 출력과 입력 간의 유사도를 측정함으로써 복사 행동을 방지한다.
• 피팅 트레이닝 없이 적용 가능하므로 제로샷 다국어 문장 다수 표현 생성이 가능하다.
• 소스 시퀀스에 존재하는 토큰에 따라 디코딩 전략이 동적으로 토큰을 차단함으로써 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 피팅 트레이닝 없이 비지도 설정에서 디코딩 알고리즘이 문장 다수 표현 품질을 향상시킬 수 있는가?
• RQ2 Dynamic Blocking가 생성 중에 입력 토큰을 복사하는 것을 얼마나 효과적으로 방지하는가?
• RQ3 제안된 지표가 정확한 매칭 없이 문장 다수 표현 품질을 신뢰성 있게 평가할 수 있는가?
• RQ4 모델이 제로샷 다국어 문장 다수 표현 생성에 얼마나 잘 일반화되는가?
• RQ5 Dynamic Blocking의 성능는 지도 학습, 도메인 내 모델과 비교해 어떻게 되는가?

주요 결과

• Dynamic Blocking는 비지도 설정에서 벤치마크 문장 다수 표현 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 피팅 트레이닝 없이도 강력한 지도 학습, 도메인 내 문장 다수 표현 모델 수준의 성능을 달성한다.
• 자기 BLEU와 BERTscore를 기반으로 한 제안된 지표는 입력 복사를 방지하면서도 문장 다수 표현 품질을 효과적으로 평가한다.
• 추가 학습 없이도 다양한 언어로 일반화된다.
• 표준 디코딩 대비 문장 다수 표현의 다양성과 표면적 다양성이 크게 향상된다.
• 어휘 반복을 피하면서도 입력과 높은 의미 유사도를 유지한다.