[논문 리뷰] Sequence-to-sequence Pre-training with Data Augmentation for Sentence Rewriting

Yi Zhang, Tao Ge외 3명|arXiv (Cornell University)|2019. 09. 13.

Natural Language Processing Techniques참고 문헌 51인용 수 19

한 줄 요약

이 논문은 문장 재작성 작업을 위해 데이터 증강을 활용하는 두 단계의 seq2seq 사전 훈련 및 미세조정 프레임워크를 제안한다. 증강된 데이터에서의 사전 훈련과 골드 데이터에서의 미세조정을 분리하여 노이즈 간섭을 방지한다. 세 가지 새로운 데이터 증강 방법—역번역, 특징 구분, 다중 작업 전이—를 도입하여 CoNLL-2014, JFLEG, GYAFC 벤치마크에서 최신 기준 성능을 달성하였으며, GYAFC에서 BLEU 점수 2.23점과 2.64점 향상되었고, 제한 없는 설정에서 F0.5 점수는 66.77를 초과하였다.

ABSTRACT

We study sequence-to-sequence (seq2seq) pre-training with data augmentation for sentence rewriting. Instead of training a seq2seq model with gold training data and augmented data simultaneously, we separate them to train in different phases: pre-training with the augmented data and fine-tuning with the gold data. We also introduce multiple data augmentation methods to help model pre-training for sentence rewriting. We evaluate our approach in two typical well-defined sentence rewriting tasks: Grammatical Error Correction (GEC) and Formality Style Transfer (FST). Experiments demonstrate our approach can better utilize augmented data without hurting the model's trust in gold data and further improve the model's performance with our proposed data augmentation methods. Our approach substantially advances the state-of-the-art results in well-recognized sentence rewriting benchmarks over both GEC and FST. Specifically, it pushes the CoNLL-2014 benchmark's $F_{0.5}$ score and JFLEG Test GLEU score to 62.61 and 63.54 in the restricted training setting, 66.77 and 65.22 respectively in the unrestricted setting, and advances GYAFC benchmark's BLEU to 74.24 (2.23 absolute improvement) in E&M domain and 77.97 (2.64 absolute improvement) in F&R domain.

연구 동기 및 목표

• 문장 재작성 작업에서 동시 훈련 중에 노이즈가 많고 잘못된 편집이 포함된 증강된 데이터로 인해 모델이 잘못된 방향으로 유도되는 문제를 해결하기 위해.
• 골드 데이터에서의 미세조정 이전에 다양한 증강된 데이터에서 사전 훈련을 통해 모델의 일반화 능력과 성능을 향상시키기 위해.
• 역번역, 특징 구분, 다중 작업 전이를 포함한 문장 재작성에 특화된 여러 데이터 증강 기법을 개발하고 평가하기 위해.
• 골드 데이터와 증강된 데이터를 동시에 사용하는 훈련 방식에 비해 증강된 데이터로 사전 훈련한 후 골드 데이터로 미세조정하는 것이 우월함을 경험적으로 검증하기 위해.
• 표준 벤치마크에서 문법 오류 수정(GEC) 및 공식 스타일 전이(FST) 작업에 대해 최신 기준 성능을 달성하기 위해.

제안 방법

• 모델은 골드 표준 훈련 데이터에서 미세조정되기 전에 데이터 증강 기법을 통해 생성된 합성 증강 문장 쌍에서 사전 훈련된다.
• 세 가지 데이터 증강 방법이 도입된다: 역번역을 통한 복수 문장 쌍 생성, 공식성 향상 쌍의 고질적 품질을 필터링하기 위한 특징 구분, GEC 데이터를 활용한 다중 작업 전이를 통한 공식성 전이 향상.
• 사전 훈련 단계는 노이즈가 많은 편집으로 인해 손상되지 않은 채로 문맥적 표현과 변환 패턴을 학습하기 위해 증강된 데이터를 활용한다.
• 미세조정은 골드 데이터에서만 수행되어 모델이 정확한 편집에 신뢰를 유지하고 목표 분포와 일치시킬 수 있도록 보장한다.
• 모델이 증강된 데이터의 잘못된 편집을 학습하는 것을 방지하기 위해 데이터 사용을 별도의 단계로 분리한다.
• 이 방법은 두 가지 주요 문장 재작성 작업—문법 오류 수정(GEC) 및 공식 스타일 전이(FST)—에서 평가된다.

실험 결과

연구 질문

• RQ1 증강된 데이터에서 사전 훈련하고 골드 데이터에서 미세조정하는 방식이, 골드 데이터와 증강된 데이터를 동시에 사용하는 방식보다 문장 재작성 작업에서 더 우수한 성능을 내는가?
• RQ2 역번역, 특징 구분, 다중 작업 전이와 같은 다수의 데이터 증강 전략이 문장 재작성 작업에서 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 증강된 데이터 또는 골드 데이터만으로 훈련했을 때 모델의 성능가 어떻게 달라지는가?
• RQ4 제안된 방법이 CoNLL-2014, JFLEG, GYAFC와 같은 표준 벤치마크에서 최신 기준 성능을 얼마나 향상시키는가?
• RQ5 왜 증강된 데이터를 동시에 사용하는 훈련이 성능을 떨어뜨리는가? 그리고 두 단계 훈련 전략은 이를 어떻게 완화하는가?

주요 결과

• 제안된 사전 훈련 및 미세조정 전략은 제한 없는 훈련 설정에서 CoNLL-2014 벤치마크에서 F0.5 점수 66.77의 새로운 최고 성능을 달성하여 이전 방법들을 능가한다.
• JFLEG 벤치마크에서는 제한 없는 설정에서 GLEU 점수 65.22를 기록하여 이전 연구에 비해 뚜렷한 향상을 보였다.
• GYAFC 벤치마크에서는 E&M 영역에서 BLEU 점수 2.23점 향상(74.24 도달), F&R 영역에서 2.64점 향상(77.97 도달)을 기록하였다.
• 오직 증강된 데이터에서만 훈련된 모델은 WMT14 영어-독일어 번역에서 BLEU 점수 28.8을 기록하여 골드 데이터 수준과 유사하지만, 노이즈가 많은 편집으로 인해 문장 재작성 작업에서는 성능이 열악하다.
• 두 단계 훈련 전략은 증강된 데이터의 잘못된 편집을 학습하는 것을 방지하여 동시 훈련보다 더 뛰어난 성능을 낳는다.
• 특징 구분과 다중 작업 전이의 통합은 특히 공식 스타일 전이 작업에서 증강된 데이터의 품질과 관련성을 크게 향상시킨다.