[論文レビュー] Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding

Mutian He, Philip N. Garner|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、チャットGPTおよびGPT3.5を対象として、意図分類およびスロット抽出タスクにおけるゼロショットおよびコンテキスト内プロンプトを用いた、音声言語理解（SLU）のための大規模言語モデルの評価を行っている。オラクルトランスクリプトを用いると、最大のモデルは意図分類において教師あり学習に近い性能を達成するが、スロット抽出では著しく困難であり、ASRエラーに対して非常に感受的であることが判明し、実世界のSLU展開における限界が明らかになった。

ABSTRACT

Recently, large pretrained language models have demonstrated strong language understanding capabilities. This is particularly reflected in their zero-shot and in-context learning abilities on downstream tasks through prompting. To assess their impact on spoken language understanding (SLU), we evaluate several such models like ChatGPT and OPT of different sizes on multiple benchmarks. We verify the emergent ability unique to the largest models as they can reach intent classification accuracy close to that of supervised models with zero or few shots on various languages given oracle transcripts. By contrast, the results for smaller models fitting a single GPU fall far behind. We note that the error cases often arise from the annotation scheme of the dataset; responses from ChatGPT are still reasonable. We show, however, that the model is worse at slot filling, and its performance is sensitive to ASR errors, suggesting serious challenges for the application of those textual models on SLU.

研究の動機と目的

• チャットGPTのような大規模言語モデルが、ファインチューニングなしで音声言語理解（SLU）タスクを実行できるかどうかを評価すること。
• 複数の言語において、ゼロショットおよびコンテキスト内プロンプトの有効性が意図分類およびスロット抽出タスクに与える影響を調査すること。
• 自動音声認識（ASR）エラーに直面した際のこれらのモデルのロバストネスを評価すること。
• LLMのSLUにおける失敗モードおよび限界、特にアノテーションスキームの複雑さとラベルの曖昧さに起因するものについて特定すること。
• モデルの実際の理解力が、意図およびスロットラベリングといった中間的なSLUタスクのパフォーマンスを上回っている可能性を検討すること。

提案手法

• 本研究では、ゼロショットおよびフェイシュットプロンプトを用いて、SLURPおよびMINDS-14ベンチマークでGPT3.5、チャットGPT、GPT2、OPTモデルを評価した。
• オラクルトランスクリプトを用いることで、ASRエラーからの言語理解の分離を図り、Whisper ASR出力を用いて現実のトランスクリプションエラーに対するロバストネスを評価した。
• タスクの説明とコンテキスト例を含むプロンプトを設計し、意図分類およびスロット抽出を支援した。
• 誤り分析として、100件の誤分類例を対象に、誤分類がモデルの理解不足に起因するのか、データセットのアノテーション問題に起因するのかを評価した。
• 固定プロンプト設定および会話的設定の両方でモデルを評価し、明確化を要求したり、動的に適応したりする能力を評価した。
• モデルサイズの違いによるパフォーマンスの比較を通じて、最大モデルにおける顕在的能力の発現を強調した。

実験結果

リサーチクエスチョン

• RQ1 チャットGPTのような大規模言語モデルが、ファインチューニングなしでプロンプトのみを用いて、SLUベンチマークで高い意図分類精度を達成できるか？
• RQ2 モデルサイズが、ゼロショットおよびコンテキスト内学習のパフォーマンスに、意図分類およびスロット抽出タスクに与える影響はいかほどか？
• RQ3 実際のASRトランスクリプトを用いる場合、ASRエラーがLLMのSLUタスクパフォーマンスにどの程度悪影響を及えるか？
• RQ4 なぜスロット抽出の誤り事例は、主にアノテーションスキームの複雑さに起因するのか？
• RQ5 モデルの実際の理解力は、意図およびスロットラベリングといった中間的なSLUタスクのパフォーマンスを上回っている可能性はあるか？

主な発見

• チャットGPTおよびGPT3.5を含む最大のモデルは、オラクルトランスクリプトが与えられた場合、教師あり学習に近い意図分類精度を達成しており、顕在的ゼロショットおよびコンテキスト内学習能力を示している。
• GPT2やOPTのような小さなモデルは著しく劣り、ゼロショット設定ではほぼランダムな性能を示しており、顕在的能力が大規模モデルに特有であることが示された。
• スロット抽出では、意図分類のパフォーマンスより著しく劣っており、データセットにおける重複や直感に反するラベル定義が原因で、高い誤り率が生じている。
• オラクルトランスクリプトからASRトランスクリプトに切り替えると、モデルのパフォーマンスが著しく低下し、ASRエラーに対して非常に感受的であり、発音や音声的変異に対する認識が限定的であることが示された。
• 意図分類の多く「誤り」は真の理解不足ではなく、分析した100件の誤り事例のうち79％は文脈的に妥当であり、主に文の曖昧さやデータセットのアノテーション不整合に起因している。
• モデルはフェイシュット例のパターンに過剰に適合する傾向があり、たとえば「定義語」を少数の例に基づいてラベル付けするなど、不適切な場合でもそのパターンに従うことがある。