[논문 리뷰] A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding

Wenbo Pan, Qiguang Chen외 3명|arXiv (Cornell University)|2023. 04. 09.

Topic Modeling인용 수 21

한 줄 요약

이 논문은 ChatGPT의 제로샷 SLU 및 DST에 대한 능력을 평가하여 다중 턴 프롬프트에서 DST 성능이 강하고 슬롯 채움은 더 약하다는 것을 보이고, 다중 턴 대화형 프롬프트 프레임워크를 제안한다.

ABSTRACT

Zero-shot dialogue understanding aims to enable dialogue to track the user's needs without any training data, which has gained increasing attention. In this work, we investigate the understanding ability of ChatGPT for zero-shot dialogue understanding tasks including spoken language understanding (SLU) and dialogue state tracking (DST). Experimental results on four popular benchmarks reveal the great potential of ChatGPT for zero-shot dialogue understanding. In addition, extensive analysis shows that ChatGPT benefits from the multi-turn interactive prompt in the DST task but struggles to perform slot filling for SLU. Finally, we summarize several unexpected behaviors of ChatGPT in dialogue understanding tasks, hoping to provide some insights for future research on building zero-shot dialogue understanding systems with Large Language Models (LLMs).

연구 동기 및 목표

• ChatGPT의 SLU 및 DST 벤치마크에서 제로샷 대화 이해 능력을 조사한다.
• 프롬프트 설계가 단일 턴과 다중 턴 설정에서 ChatGPT의 성능에 미치는 영향을 평가한다.
• 제로샷 대화 과제에서 ChatGPT의 행동 및 한계를 확인하여 향후 연구에 정보를 제공한다.

제안 방법

• 스키마, 규칙, 문장 입력을 포함한 제로샷 SLU를 위한 프롬프트를 설계하여 의도와 슬롯을 이끌어낸다.
• ChatGPT의 턴 간 맥락 추적을 활용하기 위해 DST용 다중 턴 인터랙티브 프롬프트 프레임워크가 제안된다.
• 평가에서는 SLU(ATIS, SNIPS) 및 DST(MultiWOZ 2.1, 2.4)에서 ChatGPT를 GPT-3.5, Codex 및 최첨단(SOTA) 기준선과 비교한다.
• 분석에는 오류 범주(정의되지 않은 슬롯 값, 슬롯 형식 위반, 장황한 응답) 및 프롬프트 길이 고려사항이 포함된다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 ChatGPT가 제로샷 SLU 및 DST를 수행할 수 있는가?
• RQ2 다중 턴 인터랙티브 프롬프트 전략이 단일 턴 프롬프트보다 DST를 향상시키는가?
• RQ3 설명, 예시, 이름과 같은 프롬프트 설계가 SLU의 슬롯 채움에 어떤 영향을 미치는가?
• RQ4 제로샷 대화 이해에서 ChatGPT가 보이는 예상치 못한 행동은 무엇이며 어떻게 완화할 수 있는가?

주요 결과

Model	SNIPS Intent	SNIPS Slot	ATIS Intent	ATIS Slot	MultiWOZ2.1 JGA	MultiWOZ2.1 Slot Accuracy	MultiWOZ2.4 JGA	MultiWOZ2.4 Slot Accuracy
GPT-3.5	97.71	58.24	75.22	15.71	60.28	97.83	64.23	98.12
Codex	98.42	68.90	89.92	57.29	34.38	95.12	37.50	95.68
Finetuned SoTA	98.80	97.10	98.00	96.10	61.02	98.05	75.90	-
ChatGPT	97.71	58.24	75.22	15.71	60.28	97.83	64.23	98.12

• ChatGPT는 SLU 및 DST 벤치마크에서 제로샷 대화 이해를 달성하지만 미세 조정된 SOTA와의 격차가 있다.
• ChatGPT는 다중 턴 프롬프트가 맥락을 활용해 MultiWOZ 2.1/2.4 DST에서 GPT-3.5와 Codex를 능가한다.
• SLU 슬롯 채움에서 성능이 떨어지지만 슬롯 이름, 설명, 예시를 사용하면 성능이 향상된다.
• 다중 턴 인터랙티브 프롬프트가 DST 성능을 단일 턴 프롬프트보다 향상시킨다(예: JGA: 60.02 vs 58.05; Slot Accuracy: 97.80 vs 97.74).
• ChatGPT는 정의되지 않은 슬롯 값, 형식 위반, 장황한 출력 등 예기치 않은 동작을 보이며 프롬프트 길이 제한이 긴 대화에서 망각을 일으킬 수 있다.