[论文解读] FABLES: Evaluating faithfulness and content selection in book-length summarization

Yekyung Kim, Yapei Chang+6 more|arXiv (Cornell University)|Apr 1, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本论文提出了 FABLES，这是首个针对长上下文大语言模型在长篇小说摘要中忠实性与内容选择的大型人工评估。该研究评估了26本近期出版的小说，收集了3,158条逐条声明的标注，并发现 Claude-3-Opus 在忠实性方面显著优于其他模型，而基于大语言模型的自动评分器与人类判断的相关性不强，凸显了在长上下文自然语言处理中亟需更优的忠实性评估基准。

ABSTRACT

While long-context large language models (LLMs) can technically summarize book-length documents (>100K tokens), the length and complexity of the documents have so far prohibited evaluations of input-dependent aspects like faithfulness. In this paper, we conduct the first large-scale human evaluation of faithfulness and content selection on LLM-generated summaries of fictional books. Our study mitigates the issue of data contamination by focusing on summaries of books published in 2023 or 2024, and we hire annotators who have fully read each book prior to the annotation task to minimize cost and cognitive burden. We collect FABLES, a dataset of annotations on 3,158 claims made in LLM-generated summaries of 26 books, at a cost of $5.2K USD, which allows us to rank LLM summarizers based on faithfulness: Claude-3-Opus significantly outperforms all closed-source LLMs, while the open-source Mixtral is on par with GPT-3.5-Turbo. An analysis of the annotations reveals that most unfaithful claims relate to events and character states, and they generally require indirect reasoning over the narrative to invalidate. While LLM-based auto-raters have proven reliable for factuality and coherence in other settings, we implement several LLM raters of faithfulness and find that none correlates strongly with human annotations, especially with regard to detecting unfaithful claims. Our experiments suggest that detecting unfaithful claims is an important future direction not only for summarization evaluation but also as a testbed for long-context understanding. Finally, we move beyond faithfulness by exploring content selection errors in book-length summarization: we develop a typology of omission errors related to crucial narrative elements and also identify a systematic over-emphasis on events occurring towards the end of the book.

研究动机与目标

• 开展首次针对长篇大语言模型摘要中忠实性与内容选择的大规模人工评估，以填补长上下文自然语言处理评估中的关键空白。
• 通过雇佣已阅读目标书籍（2023或2024年出版）的标注员，减轻数据污染与认知负担。
• 开发并发布 FABLES 数据集，包含针对26本小说的3,158条逐条忠实性标注，附带证据与自由格式评论。
• 评估基于大语言模型的自动评分器在忠实性判断上的可靠性，并与人类判断进行对比，识别其关键局限。
• 分析忠实性之外的内容选择错误，包括遗漏模式与对后期情节的过度强调。

提出的方法

• 采用分层摘要生成流程，使用五种不同的大语言模型配置（变化基础模型与分块大小），对26本近期出版的小说生成摘要。
• 通过 GPT-4 提示将每份摘要分解为去上下文化的声明，以支持细粒度评估。
• 对3,158条声明开展人工评估，要求标注员对照原文验证每条声明，提供证据并说明标签依据。
• 在声明与摘要两个层级收集自由格式评论，以识别系统性遗漏与内容选择错误。
• 评估多种基于大语言模型的自动评分器，包括使用整本书（EB）提示与 BM25 检索的文本片段，以评估其与人类判断的相关性。
• 基于摘要层级评论的编码，开发了一套遗漏错误分类体系，重点关注关键叙事元素，如事件、人物状态与主题。

实验结果

研究问题

• RQ1 哪些大语言模型生成的长篇小说摘要最忠实？它们在忠实性与内容选择方面如何比较？
• RQ2 在大语言模型生成的摘要中，最常见的忠实性错误类型（如事件误述、人物状态错误）是什么？
• RQ3 基于大语言模型的自动评分器能否可靠检测长篇摘要中的不忠实声明，特别是需要多跳推理的案例？
• RQ4 大语言模型摘要器表现出哪些系统性内容选择错误，如对后期情节的过度强调或关键主题的遗漏？
• RQ5 当使用整本书或检索到的文本片段提示时，人工标注的忠实性判断与基于大语言模型评分器的预测相比如何？

主要发现

• Claude-3-Opus 在忠实性方面显著优于所有闭源大语言模型，在整本书提示设置（EB）下，整体书籍的召回率达到 0.970，仅有一条不忠实声明被错误分类。
• GPT-4-Turbo 排名第二，召回率为 0.963；GPT-3.5-Turbo 与 Mixtral 表现相当，其中 Mixtral 在部分指标上略优于 GPT-3.5-Turbo。
• 无一个基于大语言模型的评分器与人工标注结果呈现强相关性，尤其在检测不忠实声明方面表现不佳，GPT-4-Turbo 在 EB 设置下的 F1 仅达 0.354。
• 大多数不忠实声明涉及事件或人物状态，通常需通过多跳推理整合叙事证据才能识别，表明其复杂性较高。
• 所有大语言模型均表现出系统性内容选择错误：关键事件、人物弧线与主题常被遗漏，且对书籍最后三分之一内容存在一致的过度强调。
• 人工评估成本为 5,200 美元（26 本书），整本书提示成本极高（如 Claude-3-Opus 在 7 本书上达 1,070 美元），凸显了人工评估扩展的挑战。