[论文解读] GPT3-to-plan: Extracting plans from text using GPT-3

Alberto Olmo Hernandez, Sarath Sreedharan+1 more|arXiv (Cornell University)|Jun 14, 2021

Natural Language Processing Techniques参考文献 9被引用 27

一句话总结

本论文研究使用 GPT-3 从自然语言文本中提取结构化的行动序列，并将其在三个数据集上与面向任务的计划提取方法的性能进行比较。

ABSTRACT

Operations in many essential industries including finance and banking are often characterized by the need to perform repetitive sequential tasks. Despite their criticality to the business, workflows are rarely fully automated or even formally specified, though there may exist a number of natural language documents describing these procedures for the employees of the company. Plan extraction methods provide us with the possibility of extracting structure plans from such natural language descriptions of the plans/workflows, which could then be leveraged by an automated system. In this paper, we investigate the utility of generalized language models in performing such extractions directly from such texts. Such models have already been shown to be quite effective in multiple translation tasks, and our initial results seem to point to their effectiveness also in the context of plan extractions. Particularly, we show that GPT-3 is able to generate plan extraction results that are comparable to many of the current state of the art plan extraction methods.

研究动机与目标

• 评估通用语言模型（GPT-3）是否能够从自然语言文本中提取类似计划的行动序列。
• 将 GPT-3 的性能与标准数据集上的面向任务的计划提取方法进行比较。
• 评估 GPT-3 的少样本学习能力对行动名称和参数提取的影响。
• 检查 GPT-3 从文本推断计划顺序的能力，并讨论对规划应用的实际影响。

提出的方法

• 使用 GPT-3（四种引擎：Davinci、Curie、Babbage、Ada）借助少量示例将自然语言描述映射到结构化的计划表示。
• 提供以自然语言文本标注的训练示例，带有功能性计划记号；测试文本随后在特定标签后给出预期的计划输出。
• 使用与基线注释（必选/排除/可选行动类型）一致的精确度、召回率和 F1 进行评估。
• 将 GPT-3 的输出与最先进的面向任务的模型（EAD、BLCC、STFC、EASDRL、cEASDRL）在三个数据集（WHS、WHG、CT）上的表现进行比较。
• 通过 1–4-shot 提示来评估少样本学习对 F1 分数的影响。

实验结果

研究问题

• RQ1 GPT-3 是否能够从 procedure 的自然语言描述中提取结构化的行动序列？
• RQ2 GPT-3 相较于最先进的面向任务的计划提取方法在标准数据集上的表现如何？
• RQ3 像 GPT-3 这样的通用语言模型是否能从文本中捕捉计划中行动的排序？
• RQ4 少样本提示对 GPT-3 的计划提取性能有何影响？
• RQ5 GPT-3 在参数提取和更丰富的计划描述方面是否存在局限性？

主要发现

• GPT-3，特别是 Davinci 引擎，在行动名称的提取上对比最先进的面向任务的提取器仍具竞争力的 F1 分数。
• Davinci 在 WHS、WHG、CT 数据集的行动名称提取方面优于若干面向任务的模型。
• GPT-3 在参数提取方面的表现低于专门方法，但仍高于随机基线。
• 模型在一定程度上表现出从文本推断计划排序的能力，而这是此前方法常假设固定的句子顺序的领域。
• 增加少样本示例通常提升较大引擎的表现，Davinci 在 WHS 上的 F1 超过 80%。
• 在最佳配置下，Davinci 的行动名称 F1 分别为 86.32 (WHS)、58.14 (CT)、43.36 (WHG)，行动参数 F1 分别为 22.90 (WHS)、29.63 (CT)、22.25 (WHG)。
• Curie 及较小的引擎回报递减，需要更多示例以接近 Davinci 的表现。