[논문 리뷰] Text-to-Text Pre-Training for Data-to-Text Tasks

Mihir Kale, Rastogi, Abhinav|arXiv (Cornell University)|2020. 05. 21.

Topic Modeling인용 수 31

한 줄 요약

본 논문은 T5를 이용한 텍스트-투-텍스트 사전학습이 엔드투엔드 모델이 파이프라인화된 데이터-투-텍스트 시스템 및 다른 언어 모델들을 능가하게 하며, 강한 도메인 외 일반화 성능을 보인다는 것을 보여준다.

ABSTRACT

We study the pre-train + fine-tune strategy for data-to-text tasks. Our experiments indicate that text-to-text pre-training in the form of T5, enables simple, end-to-end transformer based models to outperform pipelined neural architectures tailored for data-to-text generation, as well as alternative language model based pre-training techniques such as BERT and GPT-2. Importantly, T5 pre-training leads to better generalization, as evidenced by large improvements on out-of-domain test sets. We hope our work serves as a useful baseline for future research, as transfer learning becomes ever more prevalent for data-to-text tasks.

연구 동기 및 목표

• 데이터-투-텍스트 작업에 대한 텍스트-투-텍스트 사전학습의 효과를 조사한다.
• T5 사전학습을 이용한 엔드투엔드 트랜스포머 모델이 파이프라인 방식보다 우수한지 평가한다.
• 다양한 데이터셋에서 도메인 외 데이터에 대한 사전학습 모델의 강건성을 평가한다.
• 데이터-투-텍스트 작업에 대해 T5를 대안적 사전학습 전략(BERT, GPT-2)과 비교한다.

제안 방법

• 구조화된 데이터를 입력으로 평면 문자열로 선형화하여 데이터-투-텍스트를 텍스트-투-텍스트 문제로 전환한다.
• 고정된 학습률과 토큰 예산으로 데이터-투-텍스트 데이터셋에서 T5 변형(Small, Base, Large, 3B)을 미세조정한다.
• 데이터셋별 지표(BLEU, METEOR, PARENT)와 그리디 탐욕적 검색을 사용해 평가한다.
• 32k SentencePiece 어휘와 데이터세트 크기에 따라 5K–10K 미세조정 스텝을 사용한다.
• WebNLG에서 T5-Large와 DualEnc를 정확도와 자연스러움 측면에서 비교하는 인간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 T5 스타일의 사전학습이 비사전학습 또는 다르게 사전학습된 모델에 비해 데이터-투-텍스트 생성을 향상시키는가?
• RQ2 모델 용량(T5 변형)이 성능과 도메인 외 데이터에 대한 일반화에 어떻게 영향을 미치는가?
• RQ3 엔드-투-엔드 사전학습 생성이 WebNLG, ToTTo, MultiWoz 전반에서 파이프라인형이나 그래프 기반 접근법보다 더 강건하고 경쟁력 있는가?

주요 결과

• T5로의 사전학습은 데이터-투-텍스트 벤치마크에서 최첨단 성과를 낳고 도메인 외 입력에 대한 강건성을 향상시킨다.
• 엔드-투-엔드 T5 모델은 데이터-투-텍스트 작업에서 정교한 파이프라인 시스템과 그래프 기반 인코더를 능가할 수 있다.
• 데이터-투-텍스트 생성 전반에 걸쳐 T5가 BERT 및 GPT-2 기준선을 일반적으로 능가한다.
• WebNLG에서 T5-Large는 최고의 BLEU/METEOR 점수를 달성하고 미지 도메인으로의 강한 일반화를 보인다(미지 도메인에서 큰 이점).
• ToTTo에서 T5-3B는 BERT 기준선보다 BLEU 5.5, PARENT 5.8 향상을 보이며 비중복(도메인 외) 데이터에서 더 큰 이득을 보인다.
• MultiWoz에서 모든 T5 변형은 도메인 내 사전학습 없이도 SC-GPT2를 능가하고, 인간 평가에서 정확도와 자연스러움(Seen)이 더 좋으며 Unseen에서도 강력한 성능을 보인다.