[論文レビュー] Understanding the Effectiveness of Very Large Language Models on Dialog Evaluation

Jessica Huynh, Cathy Jiao+5 more|arXiv (Cornell University)|Jan 27, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、Few-shotおよびZero-shot対話評価における非常に大きな言語モデル（LLMs）の有効性を調査し、指示微調整および対話固有の微調整を施したLLMsが汎用モデルを上回ることを示している。主な発見として、例選択戦略とモデル事前学習データの多様性が性能に顕著な影響を与えることが判明しており、InstructGPTが複数の対話評価指標において最良の結果を達成している。

ABSTRACT

Language models have steadily increased in size over the past few years. They achieve a high level of performance on various natural language processing (NLP) tasks such as question answering and summarization. Large language models (LLMs) have been used for generation and can now output human-like text. Due to this, there are other downstream tasks in the realm of dialog that can now harness the LLMs' language understanding capabilities. Dialog evaluation is one task that this paper will explore. It concentrates on prompting with LLMs: BLOOM, OPT, GPT-3, Flan-T5, InstructDial and TNLGv2. The paper shows that the choice of datasets used for training a model contributes to how well it performs on a task as well as on how the prompt should be structured. Specifically, the more diverse and relevant the group of datasets that a model is trained on, the better dialog evaluation performs. This paper also investigates how the number of examples in the prompt and the type of example selection used affect the model's performance.

研究の動機と目的

• 非常に大きな言語モデル（LLMs）が、微細な対話評価のためのFew-shotおよびZero-shot設定でどのように機能するかを評価すること。
• モデルアーキテクチャ、サイズ、および事前学習データがLLMの対話評価タスクにおける性能に与える影響を調査すること。
• 文脈内例選択戦略（例：ランダム、BM25、類似度ベース）が評価精度に与える影響を分析すること。
• 流暢さ、一貫性、一貫性、関連性といった指標を含め、多様な対話データセットと評価指標におけるLLMの一般化能力を評価すること。
• 強固な自動対話評価に最適なプロンプト戦略とモデル特性を特定すること。

提案手法

• 複数の対話評価ベンチマークで、BLOOM、OPT、GPT-3、Flan-T5、InstructDial、TNLGv2の6つのLLMを評価した。
• 文脈のみまたは文脈と応答を含む例を用いた、Zero-shotおよびFew-shotプロンプティングを適用した。
• ランダムサンプリング、BM25検索、および文脈または応答に基づく類似度ベースの選択を含む、例選択戦略を採用した。
• ターンレベル（関連性、流暢さ）および対話レベル（一貫性、一貫性）の評価指標に対して、人間によるアノテーション済みデータセットを用いた。
• 人間の判断との相関（例：ピアソン相関、F1スコア）を用いて、データセット間でのモデル性能を比較した。
• モデルサイズと事前学習データの多様性が、ドメインをまたがるZero-shotおよびFew-shot一般化に与える影響を分析した。

Figure 1: Large Language Models, comparison of select approximate sizes

実験結果

リサーチクエスチョン

• RQ1 異なるLLMアーキテクチャおよびサイズは、多様なデータセットにおいて、Zero-shotおよびFew-shot対話評価でどのように機能するか？
• RQ2 文脈内例選択戦略（ランダム、BM25、類似度ベース）が、LLMの対話評価における性能に与える影響は何か？
• RQ3 事前学習データの多様性と関連性は、LLMの対話評価タスクにおける一般化能力にどのように影響するか？
• RQ4 どのプロンプト戦略（例：文脈のみ vs. 文脈と応答の例）が人間の判断との相関が最も高くなるか？
• RQ5 指示微調整または対話固有の微調整が施されたモデルは、一般用途のLLMに比べて、対話評価でどの程度優れているか？

主な発見

• InstructGPT（text-davinci-002）は、すべてのデータセットと指標で最高のパフォーマンスを示し、汎用モデルおよび小規模モデルを上回った。
• Flan-T5とInstructDialは強力なZero-shot性能を示し、それぞれ8つのデータセットの6つおよび5つでベースラインを上回った。これは、指示微調整の有効性を示している。
• 文脈と応答に基づく例選択はEGデータセットでのパフォーマンス向上に寄与したが、530BのTNLGv2モデルでは、DGRおよびEGにおいて、アルゴリズム的選択よりもランダム選択が優れていた。
• 多様で対話に適したコーパス（例：TNLGv2、InstructDial）で学習されたモデルは、単に広範なインターネットデータのみで学習されたモデルよりも、ドメインをまたがる一般化性能に優れていた。
• 530BのTNLGv2モデルは、特にFew-shot設定で優れたパフォーマンスを示し、モデルサイズの拡大が評価能力の向上に寄与することを示している。
• Flan-T5 や InstructDial のような小規模で指示微調整されたモデルは、BLOOM や OPT のような大規模で非微調整モデルを上回ることが多く、タスク固有の適応の重要性を浮き彫りにしている。