[논문 리뷰] Few-Shot NLG with Pre-Trained Language Model

Zhiyu Chen, Harini Eavani외 3명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 50~200개의 레이블된 예시만을 사용하여 구조화된 데이터에서 고품질 텍스트 생성을 요구하는, 새로운 작업인 소수 샘플 자연어 생성(NLG)을 소개한다. 이 작업은 사전에 훈련된 언어 모델과 학습 가능한 복사 스위치 메커니즘을 조합한 단순하면서도 효과적인 방법을 제안하며, 표에서 사실을 선택적으로 추출하고 유창하고 사실적인 문장을 조립한다. 이로 인해 강력한 기준 모델 대비 평균 BLEU 점수 향상이 8.0점 이상 발생하며, 극도로 적은 데이터로도 성능을 달성한다.

ABSTRACT

Neural-based end-to-end approaches to natural language generation (NLG) from structured data or knowledge are data-hungry, making their adoption for real-world applications difficult with limited data. In this work, we propose the new task of extit{few-shot natural language generation}. Motivated by how humans tend to summarize tabular data, we propose a simple yet effective approach and show that it not only demonstrates strong performance but also provides good generalization across domains. The design of the model architecture is based on two aspects: content selection from input data and language modeling to compose coherent sentences, which can be acquired from prior knowledge. With just 200 training examples, across multiple domains, we show that our approach achieves very reasonable performances and outperforms the strongest baseline by an average of over 8.0 BLEU points improvement. Our code and data can be found at \url{https://github.com/czyssrs/Few-Shot-NLG}

연구 동기 및 목표

• 실제 운영에 적용하기 위해 대규모 애너테이션 데이터가 필요한 신경망 기반 NLG 시스템의 데이터 집약적 성향을 해결하기 위해.
• 모델이 50~200개의 레이블된 예시만으로도 고품질 텍스트를 생성해야 하는 새로운 연구 문제인 소수 샘플 NLG를 정의하기 위해.
• 유창한 텍스트 생성을 위한 사전 지식으로 사전에 훈련된 언어 모델을 활용하여 인간의 애너테이션 노력을 줄이기 위해.
• 학습 가능한 스위치 메커니즘을 사용해 콘텐츠 선택과 언어 모델링을 분리함으로써 다양한 도메인으로의 일반화 능력을 향상시키기 위해.
• 극도로 낮은 데이터 가용성 조건에서도 대규모 도메인 특화 모델의 미세조정 없이도 강력한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 모델은 GPT 스타일의 사전에 훈련된 언어 모델을 생성기로 사용하여, 자연스럽고 일관된 문장 형성에 강력한 사전 지식을 제공한다.
• 학습 가능한 복사 스위치 메커니즘을 도입하여, 모델이 언어 모델의 파라미터에서 텍스트를 생성할지 아니면 입력 테이블 값에서 직접 복사할지를 제어한다.
• 복사 스위치는 복사 손실 항목 $p_{\text{copy}}$ 를 사용하여 훈련되며, 적절한 시점에 표의 사실적 내용을 복사하도록 유도한다.
• 모델 아키텍처는 단순하며, 학습 가능한 파라미터가 최소한이므로 소수 샘플 학습 설정에 적합하다.
• 콘텐츠 선택과 문장 조립이 소규모 레이블된 데이터 세트에서 엔드 투 엔드 훈련을 통해 공동 최적화된다.
• 다양한 도메인에서 사용 가능한 다중 도메인 위키백과 기반의 테이블 텍스트 데이터셋을 활용하여 프레임워크를 적용함으로써, 제로샷 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 신경망 기반 NLG 모델이 50~200개의 레이블된 훈련 예시만으로도 합리적인 성능을 달성할 수 있는가?
• RQ2 사전에 훈련된 언어 모델이 NLG에서 데이터 의존도를 줄이기 위해 효과적인 사전 지식으로 기능할 수 있는가?
• RQ3 학습 가능한 복사 스위치 메커니즘이 소수 샘플 NLG에서 사실 일관성과 유창성을 향상시키는가?
• RQ4 제안된 방법은 극도로 적은 데이터로 다양한 도메인으로 일반화되는가?
• RQ5 낮은 자원 환경에서 대규모 훈련 데이터에 의존하는 강력한 기준 모델을 능가할 수 있는가?

주요 결과

• 단지 200개의 훈련 예시만으로도 Humans 도메인에서 평균 BLEU-4 점수 36.1을 달성하여, 가장 강력한 기준 모델보다 8.0 BLEU 이상 높은 성능을 보였다.
• 복사 손실 항목 $p_{\text{copy}}$ 는 훈련 데이터 크기에 관계없이 평균 4.0 BLEU 점수 향상을 이끌어내어, 잘못된 사실이나 환각된 내용의 발생을 크게 줄였다.
• WikiBio 데이터셋에서 200개의 예시로도 25.4 BLEU 점수를 기록했으며, 이는 대규모 타겟 측 데이터를 사용한 Pivot 모델(16.8 BLEU)을 뛰어넘었다.
• 인간 평가 결과, 모델은 샘플당 평균 3.64개의 지원 사실을 생성했으며(기준 모델 대비 2.57개), 오직 1.12개의 모순되는 사실만을 포함하여 높은 사실 정확도를 보였다.
• 복사 손실이 없는 모델은 언어 자연스러움 측면에서 略로 높은 점수(1.63 vs. 1.59)를 기록했지만, 복사 손실이 사실 일관성 향상에 크게 기여하여 NLG에 있어 핵심적인 요소임을 입증했다.
• 모델은 다양한 도메인으로의 일반화 능력이 뛰어나며, 최소한의 아키텍처 복잡성과 데이터 요구 조건으로도 강력한 제로샷 전이 능력을 보였다.