[논문 리뷰] Few-shot Natural Language Generation for Task-Oriented Dialog

Baolin Peng, Chenguang Zhu외 5명|arXiv (Cornell University)|2020. 02. 27.

Topic Modeling참고 문헌 27인용 수 31

한 줄 요약

논문은 FewShotWOZ를 Task-oriented Dialog를 위한 few-shot NLG 벤치마크로 소개하고, SC-GPT를 한정된 라벨 데이터로 도메인별 구사력 있는 응답 생성을 잘 수행하는 의미적으로 조건화된 GPT-2 기반 모델로 제시합니다.

ABSTRACT

As a crucial component in task-oriented dialog systems, the Natural Language Generation (NLG) module converts a dialog act represented in a semantic form into a response in natural language. The success of traditional template-based or statistical models typically relies on heavily annotated data, which is infeasible for new domains. Therefore, it is pivotal for an NLG system to generalize well with limited labelled data in real applications. To this end, we present FewShotWoz, the first NLG benchmark to simulate the few-shot learning setting in task-oriented dialog systems. Further, we develop the SC-GPT model. It is pre-trained on a large set of annotated NLG corpus to acquire the controllable generation ability, and fine-tuned with only a few domain-specific labels to adapt to new domains. Experiments on FewShotWoz and the large Multi-Domain-WOZ datasets show that the proposed SC-GPT significantly outperforms existing methods, measured by various automatic metrics and human evaluations.

연구 동기 및 목표

• Scarce labeled data in new domains에서 잘 수행하도록 Task-oriented dialog의 NLG를 동기부여합니다.
• FewShotWOZ를 제시하여 여러 도메인에 걸친 few-shot 적응을 시뮬레이션합니다.
• SC-GPT를 개발하여 제어 가능한, 구사력 있는 NLG를 위한 의미적으로 조건화된 사전학습 모델을 만듭니다.
• SC-GPT가 FewShotWOZ 및 MultiWOZ에서 자동 지표와 인간 평가 모두에서 베이스라인보다 우수하다는 것을 입증합니다.

제안 방법

• (i) 대규모 일반 텍스트 사전학습(GPT-2 백본)으로 3단계 학습 레시피 활용; (ii) 주석이 달린 대화 행위(dialog-act) 및 응답에 대한 대화 행위 조건부 사전학습; (iii) 한정된 도메인 라벨로 도메인 특화 미세조정.
• 대화 행위를 사전학습과 미세조정 중 대상 발화에 동반되는 순차 제어 코드로 표현합니다.
• 생성 조건화된 대화 행위 A에 따라 p_theta(x|A)를 모델링하는 자동회귀 Transformer를 사용합니다.
• 새로운 도메인에서 수십 개의 도메인 특화 라벨만으로 SC-GPT를 미세조정하여 새로운 행위와 슬롯에 적응합니다.
• 의미적 행위를 기반으로 한 제어 가능한 생성을 가능하게 하여 비대체화(delexicalization)를 피하고 유연성을 유지합니다.

실험 결과

연구 질문

• RQ1 SC-GPT가 도메인 내 라벨 데이터가 최소인 상황에서 새로운 도메인에 잘 일반화할 수 있는가?
• RQ2 대규모 대화 행위 주석 코포ра를 사전학습하는 것이 few-shot NLG에서 베이스라인에 비해 제어 가능성 및 유창성을 향상시키는가?
• RQ3 FewShotWOZ가 실제 업무형 대화 시스템의 few-shot 적응 과제를 어떻게 반영하는가?

주요 결과

• SC-GPT가 자동 지표와 인간 평가에서 FewShotWOZ 및 MultiWOZ 모두에서 최상의 전반적 성능을 달성합니다.
• SC-GPT는 few-shot 설정에서 SC-LSTM 및 GPT-2에 비해 슬롯 오류율(ERR)을 크게 감소시키고 BLEU를 향상시킵니다.
• 인간 평가에서 SC-GPT가 정보성 및 자연스러움 면에서 베이스라인보다 도메인 전체에서 우수한 것으로 나타났습니다.
• SC-GPT가 보지 않은 대화 행위에서 베이스라인보다 일반화가 잘 되며, 미확인 행위에서 ERR가 특히 낮습니다.
• MultiWOZ에서 SC-GPT가 최고의 BLEU를 보이는 반면, 학습 데이터가 풍부할 때는 GPT-2도 경쟁력이 있습니다.
• FewShotWOZ 벤치마크는 SC-GPT를 사용할 때 강한 일반화 및 제어 가능성 이점을 드러냅니다.