[논문 리뷰] Parallel Data Augmentation for Formality Style Transfer

Yi Zhang, Tao Ge외 1명|arXiv (Cornell University)|2020. 05. 14.

Natural Language Processing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 형식성 스타일 전이(FST)를 위한 새로운 데이터 증강 방법—형식성 구분(F-Dis), 다중 작업 전이(M-Task), 백트랜스레이션—을 제안하며, 합성 평행 데이터를 활용하여 모델 성능을 크게 향상시킨다. GYAFC 벤치마크에서 이 증강된 데이터를 사용해 사전 훈련하면 자동 평가와 인간 평가 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The main barrier to progress in the task of Formality Style Transfer is the inadequacy of training data. In this paper, we study how to augment parallel data and propose novel and simple data augmentation methods for this task to obtain useful sentence pairs with easily accessible models and systems. Experiments demonstrate that our augmented parallel data largely helps improve formality style transfer when it is used to pre-train the model, leading to the state-of-the-art results in the GYAFC benchmark dataset.

연구 동기 및 목표

• 형식성 스타일 전이(FST)에서 제한된 평행 훈련 데이터라는 핵심적 한계를 해결하기 위해, GYAFC와 같은 기존 데이터셋이 약 10만 개의 문장 쌍만 포함하고 있음을 고려한다.
• 기존의 접근 가능한 모델과 시스템을 활용해 다양하고 고품질의 합성 평행 문장 쌍을 생성함으로써 데이터 부족 문제를 해결한다.
• 원래 훈련 데이터에 존재하지 않는 형식성 전이 지식을 통합함으로써 FST에서 모델의 일반화 능력을 향상시키고 과적합을 줄인다.
• 사전 훈련 시 증강된 데이터를 사용하면 GYAFC 벤치마크에서 자동 평가 및 인간 평가 지표 모두에서 기존 방법을 뛰어넘는 최신 기술 수준의 성능을 달성함을 보여준다.

제안 방법

• 백트랜스레이션을 적용하기 위해 원본 평행 데이터에서 형식성에서 비형식성으로의 시퀀스-투-시퀀스 모델을 훈련하고, 이를 사용해 형식성 입력에서 합성 비형식 문장을 생성함으로써 새로운 (비형식, 형식) 쌍을 형성한다.
• 형식성 구분(F-Dis)을 구현하기 위해 비형식 문장을 피벗 언어(예: 프랑스어, 독일어, 중국어)를 통해 번역하고, 훈련된 CNN 기반 형식성 구분기로 쌍을 필터링함으로써 재번역 문장에서 형식성이 유의미하게 향상된 경우를 선별한다.
• 다중 작업 전이(M-Task)를 구현하기 위해 기존 문법 오류 수정(GEC) 데이터셋을 활용해 FST 모델을 사전 훈련하거나 미세조정함으로써, 비형식 텍스트의 문법 오류와 GEC의 수정 패턴 간의 겹침을 활용한다.
• 임계값을 적용한 형식성 점수 차이를 통해 증강 데이터를 선택한다: $(m{s}_i, m{s}_i') \in \mathcal{T}_{\text{aug}}$ 이면 $P_+(\bm{s}_i') - P_+(\bm{s}_i) \geq \sigma$, $\sigma = 0.6$ 조건을 만족한다.
• 원본 데이터와 증강 데이터의 조합을 사용해 최종 FST 모델을 사전 훈련함으로써, 더 나은 일반화 능력과 후행 평가에서의 향상된 성능을 달성한다.
• 자동 평가 지표(BLEU)와 인간 평가(형식성, 유창성, 의미 유지)를 사용해 모델을 평가하며, NMT-MTL 및 GPT-CAT와 같은 강력한 베이스라인과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 제한된 원본 평행 데이터가 존재하는 상황에서 데이터 증강 기법이 형식성 스타일 전이 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 형식성 구분과 다중 작업 전이 기법이 원본 데이터에 존재하지 않는 형식성 전이 지식을 반영한 고품질의 합성 평행 데이터를 얼마나 효과적으로 생성하는가?
• RQ3 피벗 언어(예: 프랑스어, 독일어, 중국어)의 종류가 F-Dis 방법에서 증강 데이터의 품질과 양에 어떤 영향을 미치는가?
• RQ4 증강된 데이터로 사전 훈련을 수행하면 자동 평가 및 인간 평가 지표에서 측정 가능한 성능 향상이 이루어지는가?
• RQ5 제안된 방법은 기존 최신 기술 수준의 모델 대비 형식성 전이 품질과 유창성 유지 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 데이터 증강 방법—F-Dis, M-Task 및 백트랜스레이션—은 대규모 고품질의 합성 평행 데이터를 생성하여 FST의 훈련 신호를 크게 확장한다.
• 증강된 데이터로 사전 훈련을 수행하면 GYAFC 벤치마크에서 자동 평가에서 기존 베이스라인 모델과 최신 기술 수준의 방법을 모두 뛰어넘는 최신 기술 수준의 성능을 달성한다.
• 인간 평가 결과, 제안된 모델은 형식성 점수 1.45(p < 0.05), 유창성 1.85(p < 0.05), 의미 유지 1.92(p < 0.05)를 기록하여 원본 데이터보다 유의미하게 뛰어난 성능을 보였다.
• 피벗 언어 중 독일어 기반 F-Dis가 가장 우수한 성능을 보였으며(BLEU: F&R에서 75.18), 품질과 데이터 크기 사이의 균형을 잘 유지했고, 중국어 기반 F-Dis는 가장 큰 데이터셋(680만 쌍)을 생성했지만, 분할 불확실성으로 인해 노이즈가 더 많았다.
• F-Dis에서 피벗 언어로 독일어를 사용할 경우, E&M 세트에서 BLEU 점수 74.52, F&R 세트에서 75.18을 기록했으며, 원본 데이터(각각 69.44 및 74.19)를 뛰어넘었다.
• 데이터 증강과 사전 훈련의 조합은 모델의 일반화 능력을 향상시키고 과적합을 줄이며, 아키텍처 변경 없이도 스타일 전이에서의 강건성을 향상시킨다.