[論文レビュー] Are LLMs All You Need for Task-Oriented Dialogue?

Vojtěch Hudeček, Ondřej Dušek|arXiv (Cornell University)|Apr 13, 2023

Topic Modeling被引用数 16

ひとこと要約

本論文は微調整なしでタスク指向の対話に対する命令チューニング済みLLMを評価し、信念状態の追跡は弱いが信念状態が正しい場合の応答生成には可能性があることを発見した；少数ショットの同一ドメインの例は有効であり、MultiWOZとSchema-Guidedデータセットでのゼロショット結果は、ドメイン内の追加学習なしで競合している。

ABSTRACT

Instructions-tuned Large Language Models (LLMs) gained recently huge popularity thanks to their ability to interact with users through conversation. In this work we aim to evaluate their ability to complete multi-turn tasks and interact with external databases in the context of established task-oriented dialogue benchmarks. We show that for explicit belief state tracking, LLMs underperform compared to specialized task-specific models. Nevertheless, they show ability to guide the dialogue to successful ending if given correct slot values. Furthermore this ability improves with access to true belief state distribution or in-domain examples.

研究の動機と目的

• 微調整なしでタスク指向対話(TOD)を実行する命令チューニング済みLLMの能力を評価する。
• 複数のデータセットにおいて TOD のゼロショットと少数ショットのイン-context学習を比較する。
• エンドツーエンドの TOD パイプラインにおけるドメイン検出、信念状態の追跡、応答生成を分析する。
• オラクル信念状態とモデル生成信念状態を下流タスクに用いる影響を検討する。

提案手法

• 各ターン3回の呼び出しを含むLLMベースのTODパイプラインを提案する：ドメイン検出/状態追跡、データベース検索、応答生成。
• 重いプロンプト設計を用いず、すべてのLLMに対してシンプルで普遍的なプロンプトを使用する。
• TODベンチマークでドメイン検出の正確性、信念状態の追跡（JGAとSlot-F1）、応答品質（BLEU）と対話成功を評価する。
• 少数ショット設定では、取得したドメイン固有の例のコンテキストストアを維持し、学習を助けるために正例/負例を用いてプロンプトを拡張する。
• 複数の命令チューニング済みモデルとデータセット（MultiWOZ 2.2, Schema Guided Dataset）に対してゼロショットと少数ショットのバリアントを比較する。
• オラクル信念状態と生成信念状態が下流の性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしでLLMがそのまま TOD タスクを実行できるか？
• RQ2 ゼロショットと少数ショットのプロンプトは、 TOD のドメイン検出、状態追跡、応答生成にどう影響するか？
• RQ3 オラクル信念状態とモデル生成信念状態を提供することが全体の対話成功に与える影響は？
• RQ4 すぐ使えるLLMは標準ベンチマークで最先端の無監督 TOD結果を達成するか？
• RQ5 取得された例の数が増えると、コンテキストに格納された少数ショートのサンプルは性能にどう影響するか？

主な発見

• LLMsは専用の TOD モデルと比較して、明示的な信念状態の追跡では劣る。
• 正確な信念状態が与えられた場合、いくつかのLLMは以前の微調整済みモデルに対して競争力のある品質の応答を生成する。
• ゼロショット TOD の命令チューニング済みLLMは、ドメイン内の微調整なしという制約の中で、MultiWOZとSchema-Guidedデータセット上で無監督の最先端結果を達成する。
• ドメイン内の少数ショット例は性能を向上させ、特に信念状態がオラクル提供される場合に顕著である。
• ChatGPT は対話レベルの成功と信念状態の指標でしばしば他のモデルを上回り、出荷時の堅牢な能力を示している。
• プロンプティングと後処理は、プロンプト回復可能なエラーの一部を緩和し、幻覚を減らすことができるが、根本的なエラーはモデル間で依然として存在する。