[论文解读] Measuring Reliability of Large Language Models through Semantic Consistency

Harsh Raj, Domenic Rosati+1 more|arXiv (Cornell University)|Nov 10, 2022

Topic Modeling被引用 9

一句话总结

本文提出了一种用于评估大语言模型（LLMs）在开放式文本生成中一致性的语义一致性度量方法，用语义等价函数（如释义检测和自然语言蕴涵）替代传统的词汇相等性。该方法与人类判断的相关性显著高于词汇度量方法，并揭示了推理策略是导致不一致性的主要因素，而非模型规模或准确率。

ABSTRACT

While large pretrained language models (PLMs) demonstrate incredible fluency and performance on many natural language tasks, recent work has shown that well-performing PLMs are very sensitive to what prompts are feed into them. Even when prompts are semantically identical, language models may give very different answers. When considering safe and trustworthy deployments of PLMs we would like their outputs to be consistent under prompts that mean the same thing or convey the same intent. While some work has looked into how state-of-the-art PLMs address this need, they have been limited to only evaluating lexical equality of single- or multi-word answers and do not address consistency of generative text sequences. In order to understand consistency of PLMs under text generation settings, we develop a measure of semantic consistency that allows the comparison of open-ended text outputs. We implement several versions of this consistency metric to evaluate the performance of a number of PLMs on paraphrased versions of questions in the TruthfulQA dataset, we find that our proposed metrics are considerably more consistent than traditional metrics embodying lexical consistency, and also correlate with human evaluation of output consistency to a higher degree.

研究动机与目标

• 为解决在自由形式文本生成中缺乏可靠的模型一致性评估问题，其中词汇相等性无法捕捉语义等价性。
• 开发一种语义一致性框架，超越精确的标记匹配，以衡量模型输出之间的真正语义一致性。
• 评估模型架构、规模和推理策略对自然语言生成中一致性的影响。
• 将所提出的度量方法与人类判断进行验证，并与现有的基于词汇的一致性度量进行比较。

提出的方法

• 提出一种广义的一致性度量 Cons_sem(Y)，用语义一致函数 f(y_i, y_j) 替代精确的标记相等性，以衡量输出之间的语义等价性。
• 实现四种语义一致函数：用于语义相似度的 BERTScore，释义检测（PP），以及使用在 MNLI 上微调的 DeBERTa-v2-xxlarge 进行的蕴涵/矛盾分类。
• 将该框架应用于 TruthfulQA 数据集中的改写问题，评估多种 LLM（如 OPT、LLaMA）在不同推理策略下的表现。
• 使用斯皮尔曼等级相关系数比较一致性得分与人类标注结果，以评估所提度量方法的有效性。
• 采用多度量评估策略，将语义度量（PP、蕴涵、BERTScore）与基于词汇的基线度量（ROUGE-1、NER）进行比较。
• 引入一个新的改写版 TruthfulQA 问题数据集，以支持可复现性和基准测试。

实验结果

研究问题

• RQ1 语义一致性度量与基于词汇的度量在与人类判断的一致性相关性方面表现如何？
• RQ2 模型规模在开放式文本生成中在多大程度上影响语义一致性？
• RQ3 不同的推理策略（如贪婪解码与核采样）如何影响语义一致性？
• RQ4 准确率与一致性在 LLM 中是否为正交属性，还是存在相关性？

主要发现

• 基于蕴涵的一致性度量与人类判断的相关性最强（ρ = 0.70），显著优于 ROUGE-1（ρ = 0.32）和 NER（ρ = 0.15）等基于词汇的度量。
• 释义检测（PP）和 BERTScore 也与人类评分表现出中等至较强的关联性（ρ = 0.52 和 ρ = 0.54，分别），表明其在捕捉语义一致性方面的有效性。
• 在所有语义一致性度量中，贪婪解码产生的输出显著更一致，而核采样则导致不一致性增加，凸显了推理策略是导致不一致性的主要根源。
• 模型规模与准确率与一致性无相关性：虽然更大的模型更一致，但准确率随规模增加而下降（反向缩放），表明二者为正交属性。
• 基于词汇的度量如 ROUGE-1 和 NER 与人类判断的相关性微弱（ρ ≤ 0.32），因此不适合作为语义一致性的代理指标。
• 所提出的语义一致性框架，尤其是结合蕴涵和释义检测的方法，能更可靠、更符合人类判断地评估 LLM 在文本生成中的可靠性。