[논문 리뷰] Template Guided Text Generation for Task-Oriented Dialogue

Mihir Kale, Abhinav Rastogi|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 논문은 자연어 생성(NLG)을 위한 템플릿 기반 텍스트 생성 방법(T2G2)을 제안한다. 이 방법은 단순한 템플릿을 사용해 의미적으로 올바른 그러나 일관성 없는 발화를 생성한 후, 사전 훈련된 언어 모델을 통해 유창하고 자연스러운 응답으로 개선한다. 이 접근법은 20개 도메인의 45개 API에서 강력한 제로샷 및 패기샷 일반화 성능을 달성하며, 대규모 Schema-Guided Dialogue 데이터셋에서 기준 모델 대비 강인성과 샘플 효율성에서 뛰어난 성능을 보였다.

ABSTRACT

Virtual assistants such as Google Assistant, Amazon Alexa, and Apple Siri enable users to interact with a large number of services and APIs on the web using natural language. In this work, we investigate two methods for Natural Language Generation (NLG) using a single domain-independent model across a large number of APIs. First, we propose a schema-guided approach which conditions the generation on a schema describing the API in natural language. Our second method investigates the use of a small number of templates, growing linearly in number of slots, to convey the semantics of the API. To generate utterances for an arbitrary slot combination, a few simple templates are first concatenated to give a semantically correct, but possibly incoherent and ungrammatical utterance. A pre-trained language model is subsequently employed to rewrite it into coherent, natural sounding text. Through automatic metrics and human evaluation, we show that our method improves over strong baselines, is robust to out-of-domain inputs and shows improved sample efficiency.

연구 동기 및 목표

• 수백 개의 API와 도메인으로 확장되는 자연어 생성(NLG)을 최소한의 주석 작업으로 수행하는 데 도전하는 것.
• 각 API당 광범위한 레이블 데이터가 필요하지 않은 채로 제로샷 및 패기샷 일반화 성능을 향상시키는 것.
• 통합된 도메인 독립적 NLG 프레임워크를 통해 수동 템플릿 설계에 대한 의존도를 줄이는 것.
• 단일 사전 훈련된 모델을 사용해 다양한 도메인에서 강인하고 일관되며 자연스러운 시스템 응답을 생성하는 것.
• 실제 가상 비서가 다중 도메인 상호작용을 처리할 수 있도록 스케일이 가능하고 효율적이며 이식 가능한 NLG 솔루션을 제공하는 것.

제안 방법

• 이 방법은 슬롯 수에 비례하는 선형적인 수의 자연어 템플릿을 사용하여 시스템 동작을 의미적으로 올바르지만 일관성 없을 수 있는 발화로 변환한다.
• 이러한 템플릿 기반 발화는 결합되어 사전 훈련된 T5 인코더-디코더 모델에 입력되어 자연스럽고 흐름 있는 응답으로 재작성된다.
• 입력 표현 방식으로는 단순한 슬롯-값 쌍과 자연어 슬롯 이름을 사용한 스키마 기반 기술 방식을 두 가지 모두 평가한다.
• 모든 12개 도메인에 대한 공동 모델링을 통해 파rameter 효율성과 일관성을 향상시켜 훈련 및 유지보수 비용을 절감한다.
• 이전 대화 턴의 맥락을 반영하기 위해 입력 표현에 최대 k개의 이전 발화를 결합함으로써 응답의 일관성 향상과 반복 방지를 도모한다.
• 이 프레임워크는 미리 보지 않은 API에 대해 제로샷 추론을 지원하며, 최소한의 레이블 예제로 패기샷 미세조정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소한의 레이블 예제로 미리 보지 않은 API에 대해 단일 도메인 독립적 NLG 모델이 효과적으로 일반화할 수 있는가?
• RQ2 유창성과 강인성 측면에서 템플릿 기반 입력 표현 방식이 스키마 기반 또는 단순 슬롯-값 입력에 비해 어떻게 비교되는가?
• RQ3 대화 이력 맥락을 통합할 경우 응답 품질 향상과 반복 감소에 어느 정도 기여하는가?
• RQ4 다양한 도메인 간 공동 모델링이 도메인 특화 모델 대비 샘플 효율성과 성능 향상에 기여하는가?
• RQ5 템플릿 기반 재작성 접근법이 Schema-Guided Dialogue와 같은 대규모 다중 도메인 대화 데이터셋에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 모든 12개 도메인에 대한 공동 모델링으로 BLEU 점수가 3.4점 향상(23.6에서 27.0으로)되고, 문장 오류율(SER)은 4.7%에서 1.0%로 감소하여 우수한 일반화 능력과 효율성을 입증했다.
• 이전 사용자 발화를 포함한(k=1) 경우 BLEU 점수가 거의 3점 향상(26.2에서 29.0으로)되어 대화 맥락의 유용성이 응답의 일관성 향상에 기여함을 보여주었다.
• 템플릿 기반 접근법은 미리 보지 않은 API에서 강력한 제로샷 성능을 달성했으며, 도메인 외 일반화에서 최신 사전 훈련 방법을 능가했다.
• 수동으로 작성된 템플릿 대신 단순한 템플릿에 의존함으로써 주석 비용을 크게 절감했으며, 이는 확장 가능한 구현을 가능하게 했다.
• T2G2 프레임워크는 이전 5개 발화를 맥락으로 사용할 경우 BLEU 점수 32.6과 SER 0.7을 기록하여 맥락 모델링에서 뛰어난 성능을 보였다.
• 이 방법은 샘플 효율성이 향상되어 자원이 제한된 환경이나 다국어 설정에서 레이블 데이터가 부족한 상황에서도 적합한 것으로 나타났다.