[논문 리뷰] Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer

Huiyuan Lai, Antonio Toral외 1명|arXiv (Cornell University)|2021. 05. 14.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 사전 훈련된 모델(GPT-2 및 BART)을 사용하여 형식성 스타일 전이를 위한 보상 증강 미세조정 프레임워크를 제안한다. 스타일 분류와 BLEU 기반 보상의 통합을 통해 스타일 전이 정확도와 콘텐츠 유지 능력을 향상시킨다. 최신 기술 수준(SOTA)의 성능을 달성하며, 병렬 데이터의 10%만으로도 100% 데이터로부터 훈련하는 것보다 성능이 뛰어나 데이터 의존도를 크게 감소시킨다.

ABSTRACT

Scarcity of parallel data causes formality style transfer models to have scarce success in preserving content. We show that fine-tuning pre-trained language (GPT-2) and sequence-to-sequence (BART) models boosts content preservation, and that this is possible even with limited amounts of parallel data. Augmenting these models with rewards that target style and content -- the two core aspects of the task -- we achieve a new state-of-the-art.

연구 동기 및 목표

• 병렬 훈련 데이터가 부족할 때 콘텐츠 유지 문제를 해결하기 위해.
• 제한된 병렬 데이터로 사전 훈련된 모델을 미세조정할 때 콘텐츠 유지 및 스타일 전이 성능 향상 여부를 조사하기 위해.
• 스타일 분류와 BLEU 기반 보상을 결합하여 스타일 강도 및 콘텐츠 충실도를 향상시키는 효과를 평가하기 위해.
• 병렬 데이터의 10%만으로도 100% 데이터로 훈련하는 것보다 성능이 뛰어난 미세조정이 가능함을 보여주기 위해.
• 대규모 병렬 데이터에 대한 의존도를 줄여, 다양한 도메인과 언어에서 감독 기반 스타일 전이의 광범위한 적용 가능성을 높이기 위해.

제안 방법

• 입력과 출력를 구조화하기 위해 특수 토큰 [BOS], [SEP], [EOS]를 사용하는 시퀀스 투 시퀀스 프레임워크를 활용해, GPT-2와 BART 모델을 형식성 전이 병렬 코퍼스에 대해 미세조정한다.
• 두 가지 보상 신호를 도입한다: 목표 스타일 예측의 신뢰도를 높이기 위한 사전 훈련된 TextCNN 분류기 기반의 스타일 분류 보상과, 콘텐츠 유지 능력을 향상시키기 위한 BLEU 점수 보상.
• 강화 학습을 사용해 복합 보상 함수를 최적화한다: R_total = λ_cls × R_cls + λ_bleu × R_bleu, 여기서 R_cls는 스타일 신뢰도 변화를 측정하고, R_bleu는 참조 출력과의 n-gram 겹침을 측정한다.
• 고정된 파rameter를 사용해 스타일 분류기의 파라미터를 유지하면서, 이중 보상 목표를 기반으로 모델을 종단 간(end-to-end)으로 훈련한다.
• 다양한 모델 규모와 아키텍처를 평가하기 위해 BART large와 GPT-2 base 모델을 사용한다.
• 다양하고 고품질의 출력을 생성하기 위해 범위 검색과 온도 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 GPT-2 및 BART와 같은 사전 훈련된 언어 모델이 제한된 병렬 데이터로 미세조정될 때 형식성 스타일 전이에서 콘텐츠 유지 능력을 향상시킬 수 있는가?
• RQ2 스타일과 콘텐츠 전용 보상을 통합하면, 별도로 사용하거나 보상 없이 사용하는 것보다 성능이 향상되는가?
• RQ3 병렬 데이터의 10%만으로도 100% 데이터로 훈련하는 것보다 성능이 뛰어나게 미세조정할 수 있는가?
• RQ4 사전 훈련된 모델은 스타일과 콘텐츠를 얼마나 잘 분리할 수 있으며, 각 요소가 최종 출력 품질에 어떤 역할을 하는가?
• RQ5 제안된 방법이 감독 기반 스타일 전이에서 대규모 병렬 데이터 의존도를 어느 정도 감소시키는가?

주요 결과

• BART large에 스타일 및 콘텐츠 보상을 함께 적용한 모델은 E&M 도메인에서 가장 높은 스타일 신뢰도(ACC = 0.825)와 BLEU 점수(0.800)를 기록하여 모든 베이스라인을 압도했다.
• BART large + SC & BLEU 모델은 BLEU 점수 0.800과 스타일 신뢰도 0.825를 기록하여 OpenNMT 및 GPT-2 변종보다 뚜렷하게 뛰어난 성능을 보였다.
• 병렬 데이터의 10%만으로도 훈련한 모델이 100% 데이터로 훈련한 모델보다 더 나은 콘텐츠 유지(bleu: 0.657)와 스타일 신뢰도(0.657)를 달성했다.
• 스타일 분류와 BLEU 보상의 조합은 모든 모델 변종에서 스타일 강도와 콘텐츠 충실도를 일관되게 향상시켰으며, BART 모델이 뛰어난 성능을 보였다.
• GPT-2 모델에 이중 보상을 적용한 결과 BLEU 점수 0.634와 스타일 신뢰도 0.634를 기록하여 강력한 콘텐츠 유지 능력과 효과적인 스타일 전이를 입증했다.
• BART large + SC & BLEU 모델은 가장 유창하고 정확한 출력을 생성했으며, BLEU 점수 1.000과 스타일 신뢰도 0.096를 기록하여 높은 유창성과 정확한 스타일 전이를 보였다.