[论文解读] Formal Specifications from Natural Language

Christopher Hahn, Frederik Schmitt+4 more|arXiv (Cornell University)|Jun 4, 2022

Software Engineering Research被引用 13

一句话总结

本文研究了微调预训练语言模型（特别是T5）将自然语言翻译为形式化规范的能力，涵盖三个领域：正则表达式、一阶逻辑和线性时序逻辑。主要贡献在于证明这些模型能有效泛化到未见过的变量名和操作符描述，在性能上达到最先进水平，尤其在正则表达式翻译方面表现突出，同时具备可访问性、高效性，并且无需领域特定的推理机制。

ABSTRACT

We study the generalization abilities of language models when translating natural language into formal specifications with complex semantics. In particular, we fine-tune language models on three datasets consisting of English sentences and their corresponding formal representation: 1) regular expressions (regex), frequently used in programming and search; 2) First-order logic (FOL), commonly used in software verification and theorem proving; and 3) linear-time temporal logic (LTL), which forms the basis for industrial hardware specification languages. Our experiments show that, in these diverse domains, the language models maintain their generalization capabilities from pre-trained knowledge of natural language to generalize, e.g., to new variable names or operator descriptions. Additionally, they achieve competitive performance, and even outperform the state-of-the-art for translating into regular expressions, with the benefits of being easy to access, efficient to fine-tune, and without a particular need for domain-specific reasoning.

研究动机与目标

• 评估预训练语言模型是否能在其预训练分布之外的形式化规范翻译任务中实现泛化。
• 评估微调后的语言模型在多种形式语言（正则表达式、一阶逻辑和线性时序逻辑）上的性能与泛化能力。
• 提供一阶逻辑和线性时序逻辑翻译的开源数据集，以支持未来研究。
• 证明现成的语言模型无需领域特定的架构设计即可超越现有方法。
• 为使用迁移学习的自然语言到形式化规范翻译任务建立基线。

提出的方法

• 在三个不同数据集上微调开源T5语言模型：从自然语言到正则表达式、一阶逻辑和线性时序逻辑。
• 采用序列到序列架构，将自然语言描述映射为形式逻辑表达式。
• 在具有受控变化的合成数据集上进行训练，以测试对新变量名、操作符和语法结构的泛化能力。
• 通过在未见过的词汇和操作符描述上进行零样本泛化测试来评估模型性能。
• 使用BLEU和精确匹配等标准NLP指标评估翻译质量。
• 应用数据增强技术以提升低资源场景下的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 像T5这样的预训练语言模型是否能在不进行任务特定架构修改的情况下，泛化到形式化规范翻译任务？
• RQ2 微调后的语言模型在形式逻辑中对未见过的变量名、新名词和新颖操作符描述的泛化能力如何？
• RQ3 在自然语言到形式化规范任务上进行微调是否能获得与现有专用模型相当或更优的性能？
• RQ4 现成的语言模型在处理正则表达式、一阶逻辑和线性时序逻辑等多样化形式语言方面的能力有多强？
• RQ5 能否利用语言模型的泛化能力，以减少形式化规范任务中对专家标注数据的依赖？

主要发现

• 微调后的T5模型在正则表达式翻译基准上达到最先进性能，优于现有方法。
• 模型对新变量名和新颖操作符描述具有良好的泛化能力，表明其从预训练自然语言知识中实现了强大的迁移学习。
• 模型在所有三种形式语言（正则表达式、FOL和LTL）上均保持了具有竞争力的性能，显示出广泛的适用性。
• 即使在零样本设置下也观察到泛化能力，模型能处理此前未见过的词汇和语法结构。
• 该方法高效、易用，且无需领域特定的推理组件或大量微调。
• 作者发布了两个新的FOL和LTL翻译数据集，为形式化规范挖掘的开放研究做出了贡献。