[논문 리뷰] Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding

Mutian He, Philip N. Garner|arXiv (Cornell University)|2023. 05. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델, 특히 ChatGPT와 GPT3.5가 음성 언어 이해(SLU) 작업을 위해 제로샷 및 인라인 컨텍스트 프롬프팅을 사용하여 의도 분류와 슬롯 채우기 작업을 평가한다. 결과적으로 가장 큰 모델들은 오라클 전사본을 사용할 경우 의도 분류에서 준지도 학습 성능에 가까운 성능을 달성하지만, 슬롯 채우기 작업에선 뚜렷한 어려움을 겪고 있으며 ASR 오류에 매우 민감하여 실세계 SLU 구현에 한계를 드러낸다.

ABSTRACT

Recently, large pretrained language models have demonstrated strong language understanding capabilities. This is particularly reflected in their zero-shot and in-context learning abilities on downstream tasks through prompting. To assess their impact on spoken language understanding (SLU), we evaluate several such models like ChatGPT and OPT of different sizes on multiple benchmarks. We verify the emergent ability unique to the largest models as they can reach intent classification accuracy close to that of supervised models with zero or few shots on various languages given oracle transcripts. By contrast, the results for smaller models fitting a single GPU fall far behind. We note that the error cases often arise from the annotation scheme of the dataset; responses from ChatGPT are still reasonable. We show, however, that the model is worse at slot filling, and its performance is sensitive to ASR errors, suggesting serious challenges for the application of those textual models on SLU.

연구 동기 및 목표

• 대규모 언어 모델이 파인튜닝 없이도 음성 언어 이해(SLU) 작업을 수행할 수 있는지 평가하는 것.
• 다양한 언어에서 제로샷 및 인라인 컨텍스트 프롬프팅의 효과성, 특히 의도 분류와 슬롯 채우기 작업에 대한 평가.
• 자동 음성 인식(ASR) 오류에 직면했을 때 이러한 모델의 내구성 평가.
• LLM의 실패 모드와 한계를 규명하고, 특히 애너테이션 체계의 복잡성과 레이블의 모호성으로 인한 영향을 분석.
• 모델의 실제 이해 수준이 의도 및 슬롯 레이블링과 같은 중간 단계의 SLU 작업 성능을 초월할 수 있는지 탐색.

제안 방법

• 연구는 제로샷 및 소수의 예시를 사용한 프롬프팅을 통해 SLURP 및 MINDS-14 벤치마크에서 GPT3.5, ChatGPT, GPT2 및 OPT 모델을 평가한다.
• 오라클 전사본을 사용하여 언어 이해 능력을 ASR 오류에서 분리하고, Whisper ASR 출력을 사용하여 실제 전사 오류에 대한 내구성을 평가한다.
• 작업 설명과 인라인 컨텍스트 예시를 포함한 프롬프트를 설계하여 의도 분류 및 슬롯 채우기 작업을 유도한다.
• 100개의 잘못 분류된 예시를 분석하여 오류가 모델의 오해 때문인지 데이터셋 애너테이션 문제 때문인지 평가한다.
• 고정된 프롬프팅과 대화형 설정 모두에서 모델을 평가하여 모델이 명확화를 요청하거나 동적으로 적응할 수 있는 능력을 점검한다.
• 모델 크기 간 성능을 비교하여 가장 큰 모델에서 나타나는 잠재 능력의 기원을 규명한다.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 대규모 언어 모델이 파인튜닝 없이도 오직 프롬프팅만으로 SLU 벤치마크에서 높은 의도 분류 정확도를 달성할 수 있는가?
• RQ2 모델 크기가 제로샷 및 인라인 컨텍스트 학습 성능에 의도 분류와 슬롯 채우기 작업에 미치는 영향은 어떠한가?
• RQ3 실제 ASR 전사본을 사용할 경우 ASR 오류가 LLM의 SLU 작업 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ4 왜 슬롯 채우기 오류는 모델의 오해 때문이 아니라 주로 애너테이션 체계의 복잡성 때문인가?
• RQ5 모델의 실제 이해 수준은 의도 및 슬롯 레이블링과 같은 중간 단계의 SLU 작업 성능을 초월할 수 있는가?

주요 결과

• 가장 큰 모델인 ChatGPT와 GPT3.5는 오라클 전사본을 제공받을 경우 준지도 학습 모델에 가까운 의도 분류 정확도를 달성하며, 제로샷 및 인라인 컨텍스트 학습 능력이 잠재적으로 나타나는 것을 입증한다.
• GPT2 및 OPT와 같은 작은 모델은 제로샷 설정에서 거의 무작위 성능을 보이며, 이는 잠재 능력이 대규모 모델에 특화되어 있음을 시사한다.
• 슬롯 채우기 작업의 성능은 의도 분류보다 크게 열등하며, 데이터셋 내에서 겹치고 직관에 어긋나는 레이블 정의로 인해 높은 오류율을 보인다.
• 오라클 전사본 대신 ASR 전사본을 사용할 경우 성능이 뚜렷이 저하되며, 이는 ASR 오류에 매우 민감하고 발음 또는 청각적 변형을 인식하는 능력이 제한되어 있음을 시사한다.
• 의도 분류 오류의 대부분은 진짜 오해가 아니며, 분석한 100개 오류 사례 중 79%는 맥락적으로 타당한 것으로 나타나, 주로 문장의 모호성 또는 데이터셋 애너테이션의 일관성 문제 때문이었다.
• 모델는 소수의 예시에서 패턴에 과도하게 적응하는 경향을 보이며, 예를 들어 제한된 예시만으로 '정의어'를 레이블링하는 식으로, 조건에 맞지 않음에도 불구하고 그러한 패tern에 기반해 판단한다.