[论文解读] Evaluating Generative Models for Graph-to-Text Generation

Shuzhou Yuan, Michael Färber|arXiv (Cornell University)|Jul 27, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文评估了 GPT-3 和 ChatGPT 在 AGENDA 与 WebNLG 数据集上进行零样本图到文本生成的表现，将其与微调模型如 T5 和 BART 的性能进行比较。尽管生成的文本流畅，BLEU 分数分别为 10.57 和 11.08，但生成模型在语义关系理解方面表现不佳，并产生幻觉现象；而微调后的 BERT 模型在区分机器生成与人工撰写文本时，宏平均 F1 分数超过 95%。

ABSTRACT

Large language models (LLMs) have been widely employed for graph-to-text generation tasks. However, the process of finetuning LLMs requires significant training resources and annotation work. In this paper, we explore the capability of generative models to generate descriptive text from graph data in a zero-shot setting. Specifically, we evaluate GPT-3 and ChatGPT on two graph-to-text datasets and compare their performance with that of finetuned LLM models such as T5 and BART. Our results demonstrate that generative models are capable of generating fluent and coherent text, achieving BLEU scores of 10.57 and 11.08 for the AGENDA and WebNLG datasets, respectively. However, our error analysis reveals that generative models still struggle with understanding the semantic relations between entities, and they also tend to generate text with hallucinations or irrelevant information. As a part of error analysis, we utilize BERT to detect machine-generated text and achieve high macro-F1 scores. We have made the text generated by generative models publicly available.

研究动机与目标

• 评估 GPT-3 和 ChatGPT 等生成模型在零样本设置下，从结构化图数据生成描述性文本的能力。
• 将这些生成模型的性能与微调后的序列到序列模型（如 T5 和 BART）在标准图到文本基准上的表现进行比较。
• 分析生成文本中的错误模式，特别是关于语义关系理解与幻觉现象。
• 研究通过微调 BERT 模型对文本来源进行二分类时，机器生成文本的可检测性。
• 为未来可信人工智能与机器生成文本分析研究，公开提供生成的文本。

提出的方法

• 使用线性化的图表示作为 GPT-3 和 ChatGPT 的输入提示，将结构化知识转化为自然语言序列。
• 通过指令模板提示模型从图三元组生成文本，实现在无需微调情况下的零样本推理。
• 使用标准指标（BLEU、METEOR、ROUGE）在 AGENDA 和 WebNLG 的测试集上评估性能。
• 通过将生成输出与参考文本对比，开展错误分析，以识别幻觉和关系理解失败。
• 在人工撰写与机器生成的成对文本上微调 BERT 模型，用于文本来源二分类任务，并以宏平均 F1 分数进行评估。
• 所有生成的文本均通过 GitHub 公开发布，以支持可复现性及对模型生成内容的未来分析。

(a) Generate paper abstract from title, entities and graph: <title> Significance-aware Hammerstein group models for nonlinear acoustic echo cancellation. <entities> non-linear preprocessor echo path hammerstein model <graph> <H> non-linear preprocessor <R> USED-FOR <T> echo path <H> preprocessor <R>

实验结果

研究问题

• RQ1 GPT-3 和 ChatGPT 是否能够在零样本设置下，从图结构化数据中生成流畅且连贯的文本？
• RQ2 生成模型在 BLEU、METEOR、ROUGE 等指标上的表现，与微调模型（如 T5 和 BART）相比如何？
• RQ3 当从图生成文本时，生成模型常犯哪些错误，特别是关于语义关系与事实一致性的方面？
• RQ4 在使用微调后的 BERT 分类器时，机器生成文本在多大程度上可与人工撰写文本区分开来？
• RQ5 当使用相同输入图时，GPT-3 和 ChatGPT 的输出在多大程度上具有可复现性？

主要发现

• GPT-3 和 ChatGPT 在 AGENDA 和 WebNLG 数据集上的 BLEU 分数分别为 10.57 和 11.08，表明其生成的文本流畅但质量较低。
• 生成模型在理解实体之间的语义关系（如 'USED-FOR' 和 'PART-OF'）方面频繁失败，导致事实性错误。
• ChatGPT 生成了冗余且包含幻觉的内容，例如主观性陈述如 'Abner W. Sibal 是一位面对巨大挑战的杰出人物'。
• GPT-3 将姓名错误识别为事件，例如将 'Abner W. Sibal' 标记为一场战役，表现出事实性幻觉。
• 微调后的 BERT 模型在合并数据集上的宏平均 F1 分数达到 95.82，表明机器生成文本具有高度可检测性。
• 结果受限于低可复现性，因为 GPT-3 和 ChatGPT 对同一输入常产生不同输出，影响了评估的一致性。

(b) Generate text from graph: <H> Auburn Washington <R> is Part Of <T> Pierce County Washington <H> Pierce County Washington <R> country <T> United States