[논문 리뷰] Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems

Andrea Madotto, Zihan Liu외 2명|arXiv (Cornell University)|2020. 08. 14.

Topic Modeling참고 문헌 22인용 수 36

한 줄 요약

이 논문은 대형 언어 모델(GPT-2 변형)을 few-shot 예제로 프라이밍하는 것이 NLU, DST, Dialogue Policy, NLG 과제를 매개변수 업데이트 없이 해결하게 하는 방법을 조사하고, 파인튜닝 baselines와 비교하며 한계점을 요약합니다.

ABSTRACT

Task-oriented dialogue systems use four connected modules, namely, Natural Language Understanding (NLU), a Dialogue State Tracking (DST), Dialogue Policy (DP) and Natural Language Generation (NLG). A research challenge is to learn each module with the least amount of samples (i.e., few-shots) given the high cost related to the data collection. The most common and effective technique to solve this problem is transfer learning, where large language models, either pre-trained on text or task-specific data, are fine-tuned on the few samples. These methods require fine-tuning steps and a set of parameters for each task. Differently, language models, such as GPT-2 (Radford et al., 2019) and GPT-3 (Brown et al., 2020), allow few-shot learning by priming the model with few examples. In this paper, we evaluate the priming few-shot ability of language models in the NLU, DST, DP and NLG tasks. Importantly, we highlight the current limitations of this approach, and we discuss the possible implication for future work.

연구 동기 및 목표

• 모듈식 작업 지향 대화 시스템(NLU, DST, DP, NLG)에 대한 데이터 수집 감소를 동기로 삼는다.
• 핵심 작업 전반에 걸쳐 미세조정 없이 few-shot 접근 방식으로 언어 모델 프라이밍을 평가한다.
• 제한된 데이터에서 LM-프라이밍된 few-shot 결과를 파인튜닝 기반 기준과 비교한다.
• 실용적 한계점을 식별하고 더 긴 컨텍스트 모델 및 향후 연구 방향을 제시한다.

제안 방법

• 매개변수 업데이트 없이 few-shot 학습을 위해 LMs를 프라이밍하기 위해 세 가지 접두사 스타일(binary, value-based, generative)를 사용한다.
• 입력을 NLU(슬롯 채움 및 의도), DST, ACT, NLG 작업의 출력으로 매핑하기 위해 접두사를 적용한다.
• 표준 데이터 세트에서 평가한다(SNIPS는 NLU 슬롯 채움 및 의도; MultiWOZ는 DST 및 ACT; FewShotWOZ는 NLG).
• LM-프라이밍 few-shot 결과를 선정된 파인튜닝 기반 기준과 비교한다(예: TOD-BERT, BERT, SC-GPT 변형).
• 맥락 창 제약 하에 서로 다른 GPT-2 모델 크기(SMALL, LARGE, XL)를 실험한다.

실험 결과

연구 질문

• RQ1 LM 프라이밍이 파인튜닝된 기준과 비교해 NLU, DST, ACT, NLG에서 경쟁력 있는 few-shot 성능을 가능하게 할 수 있는가?
• RQ2 각 작업에서 모델 크기가 few-shot 성능에 어떻게 영향을 미치는가?
• RQ3 프리픽스 설계, 샷 수, 입력 길이 측면에서 LM 프라이밍의 실용적 한계는 무엇인가?
• RQ4 작업 지향 대화 시스템의 few-shot 역량을 향상시킬 수 있는 향후 개선점은 무엇인가?

주요 결과

• 더 큰 GPT-2 모델을 사용한 LM 프라이밍은 일반적으로 NLU 및 NLG 작업에서 더 나은 성능을 보여준다.
• DST 및 ACT의 경우, 더 큰 XL 모델이 LARGE 모델을 일관되게 능가하지 못하여 프리픽스 설계나 컨텍스트 효과가 중요함을 시사한다.
• NLU, ACT, NLG에서 LM 프라이밍은 제한된 샷에서 가장 약한 파인튜닝 기준보다 비슷하거나 더 나은 결과를 달성할 수 있다.
• 두 가지 주요 한계가 확인되었다: (i) binary/value-based 접두사는 클래스/슬롯당 다수의 순전파를 필요로 하며, (ii) GPT-2의 1024 토큰 입력 제한이 샷 수를 제한한다.