[논문 리뷰] Few-Shot Natural Language Generation by Rewriting Templates

Mihir Kale, Abhinav Rastogi|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 가상 비서에서 슬롯 수가 많은 경우에도 효율적으로 확장할 수 있도록 템플릿 재작성 기반의 소수의 예제를 활용한 자연어 생성 방법을 제안한다. 간단한 템플릿과 미세튜닝된 사전 학습된 언어 모델을 결합하여 일관되고 자연스러운 발화를 생성하며, 기준 방법에 비해 훨씬 적은 훈련 예제로도 뛰어난 성능을 달성한다.

ABSTRACT

Virtual assistants such as Google Assistant, Alexa and Siri enable users to interact with a large number of services and APIs on the web using natural language. The response generation module converts the actions generated by a policy module into a natural language utterance. Traditionally, template based approaches have been used for response generation in virtual assistants. However, such approaches are not feasible for commercial assistants, which need to support a large number of services. Defining templates for a large number of slot combinations for each of the services supported by large scale assistants becomes tedious. In this work, we propose a template rewriting method for Natural Language Generation (NLG), where the number of templates scales only linearly with the number of slots. A set of simple templates is used to convert actions into utterances, which are concatenated to give a semantically correct, but possibly incoherent and ungrammatical utterance. A pre-trained language model is subsequently employed to rewrite it into coherent, natural sounding text. Through automatic metrics and human evaluation, we show that our method improves over strong baselines, while being much more sample efficient.

연구 동기 및 목표

• 수천 개의 서비스를 지원하는 대규모 가상 비서에서 템플릿 기반 자연어 생성의 확장성 문제를 해결하기 위해.
• 수많은 서비스에서 각 슬롯 조합에 대한 템플릿을 수동으로 정의하는 데 드는 노력을 줄이기 위해.
• 사전 학습된 언어 모델을 활용해 일관성 없는 템플릿 출력을 유창하고 자연스러운 발화로 재작성함으로써 소수의 예제 학습을 가능하게 하기 위해.
• 표본 효율성을 향상시키면서도 높은 유창성과 의미 정확성을 유지하는 생성 응답을 제공하기 위해.

제안 방법

• 각 동작에 대해 단순하고 재사용 가능한 템플릿 세트를 구성하며, 슬롯을 직접 채워 원시적이고 의미적으로 올바르지만 일관성 없을 수 있는 발화를 생성한다.
• 원시적 발화를 대화 데이터로 미세튜닝된 사전 학습된 언어 모델에 통과시켜 자연스럽고 흐름 있는 응답으로 재작성한다.
• 이 방법은 슬롯 수에 따라 선형적으로 확장되며, 전통적 접근 방식에서 관찰되는 지수적 템플릿 증가를 방지한다.
• 재작성 과정은 의도와 슬롯 정보를 유지하면서 문법성과 일관성을 향상시킨다.
• 미세튜닝은 소수의 예제를 사용하여 새로운 서비스나 슬롯 조합에 빠르게 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 전통적인 방법에서 관찰되는 지수적 템플릿 증가 없이도 템플릿 기반 NLG 시스템이 수많은 슬롯 조합에 대해 효율적으로 확장될 수 있는가?
• RQ2 사전 학습된 언어 모델이 최소한의 감독 하에 원시적 템플릿 출력을 자연스럽고 흐름 있는 발화로 효과적으로 재작성할 수 있는가?
• RQ3 이 방법의 소수의 예제 성능이 유창성과 의미 정확성 측면에서 강력한 기준 방법과 비교해 어떻게 되는가?
• RQ4 이 방법은 상용 가상 비서에서 광범위한 인간 작성 템플릿이 필요로 하는 정도를 어느 정도 줄일 수 있는가?

주요 결과

• 자동 평가 및 인간 평가 지표에서 강력한 기준 방법에 비해 더 높은 유창성과 문법성 점수를 확보했다.
• 모델는 소수의 예제에 대한 강력한 일반화 능력을 보이며, 기준 방법에 비해 훨씬 적은 훈련 예제가 필요로 했다.
• 이 방법은 슬롯 수에 따라 선형적으로 확장되어 다양한 서비스 통합을 가진 대규모 가상 비서에 실현 가능하게 한다.
• 인간 평가 결과, 재작성된 발화가 템플릿 전용 또는 기준 신경망 방법에 비해 더 자연스럽고 일관성 있게 인식된다.