[论文解读] Linear programming word problems formulation using EnsembleCRF NER labeler and T5 text generator with data augmentations

JiangLong He, N Mamatha+3 more|arXiv (Cornell University)|Dec 30, 2022

Software Engineering Research被引用 4

一句话总结

该论文提出了一种集成方法，结合EnsembleCRF进行命名实体识别与多任务T5文本生成器及数据增强技术，以自动化线性规划应用题的公式化。通过应用LwTR、SR、MR和SiS数据增强方法，并使用实体包装器提升模型输入质量，该方法在NL4Opt竞赛中取得了83.5%的声明级准确率，优于基线模型，位列第五。

ABSTRACT

We propose an ensemble approach to predict the labels in linear programming word problems. The entity identification and the meaning representation are two types of tasks to be solved in the NL4Opt competition. We propose the ensembleCRF method to identify the named entities for the first task. We found that single models didn't improve for the given task in our analysis. A set of prediction models predict the entities. The generated results are combined to form a consensus result in the ensembleCRF method. We present an ensemble text generator to produce the representation sentences for the second task. We thought of dividing the problem into multiple small tasks due to the overflow in the output. A single model generates different representations based on the prompt. All the generated text is combined to form an ensemble and produce a mathematical meaning of a linear programming problem.

研究动机与目标

• 解决从自然语言中自动公式化线性规划应用题的挑战，尤其针对非专业人士。
• 通过集成建模提升低资源线性规划应用题中的命名实体识别（NER）性能。
• 通过整合多个基于提示的T5输出，生成准确的数学意义表示。
• 通过应用四种数据增强技术（LwTR、SR、MR和SiS）克服训练数据稀缺问题。
• 通过引入实体包装器提升输入序列的清晰度与标签一致性，从而增强模型性能。

提出的方法

• 采用基于CRF的模型集成（EnsembleCRF），融合多个单模型的预测结果，提升标签一致性并降低误差方差。
• 使用基于T5的文本生成器，结合多种提示模板生成多样化的意义表示，并对输出进行集成以获得最终的数学公式化结果。
• 应用四种数据增强技术——按标签的词元替换（LwTR）、同义词替换（SR）、提及替换（MR）和段落内洗牌（SiS），以增加训练数据的多样性与规模。
• 引入实体包装器（如<OBJ_NAME>表示变量）在输入文本中显式标记实体，提升模型注意力与预测准确率。
• 优化模型超参数，包括max_seq_length（600）、max_output_length（750）和training_epochs（50），以处理长序列并提升性能。
• 开展消融实验，评估数据增强、多任务学习与实体包装对模型性能的影响。

实验结果

研究问题

• RQ1 与单模型相比，基于CRF的集成模型是否能显著提升低资源线性规划应用题中的命名实体识别性能？
• RQ2 在训练数据有限的情况下，LwTR、SR、MR和SiS等数据增强技术在提升模型泛化能力方面的有效性如何？
• RQ3 在输入序列中使用实体包装器是否能增强模型正确识别和表示线性规划问题中变量与参数的能力？
• RQ4 使用单一T5模型进行多任务提示是否能显著提升数学意义表示生成的质量与一致性？
• RQ5 为何模型输出有时无法检索到同一实体的多个实例，特别是当存在多个值时？这一问题如何缓解？

主要发现

• EnsembleCRF方法在结合增强输入与多任务训练时，显著提升了命名实体识别性能，实现83.5%的声明级准确率。
• 采用LwTR、SR、MR和SiS进行数据增强，增加了训练数据的多样性，与原始训练设置相比，准确率提升了12.7个百分点（从75.9%提升至83.5%）。
• 引入实体包装器使输入序列长度增至590个词元，超过512词元的限制，因此将max_seq_length调整为600，虽轻微降低性能，但显著改善了实体定位能力。
• 采用不同提示的多任务提示策略提升了输出的多样性与一致性，但对同一实体多个实例的检索仍存在挑战。
• 最终模型在开发集上达到83.5%的声明级准确率，在NL4Opt竞赛中排名第五，测试集F1得分为0.780，优于基线BART模型（F1=0.608）。
• 尽管性能有所提升，模型在存在多个值时仍难以完整检索同一实体的所有实例，表明未来工作需改进多实例实体检测的处理机制。