[论文解读] AMR-to-text generation as a Traveling Salesman Problem

Linfeng Song, Yue Zhang+3 more|arXiv (Cornell University)|Sep 23, 2016

Natural Language Processing Techniques参考文献 21被引用 8

一句话总结

本文提出了一种新颖的AMR到文本生成方法，将该任务建模为非对称广义旅行商问题（AGTSP），其中AMR片段通过基于规则的映射转换为文本，并通过TSP求解器进行排序。该方法在SemEval-2016任务8基准测试中取得了22.44的BLEU分数，优于强基线模型，证明了规则归纳与基于TSP的排序在生成流畅且语义准确文本方面优于束搜索。

ABSTRACT

The task of AMR-to-text generation is to generate grammatical text that sustains the semantic meaning for a given AMR graph. We at- tack the task by first partitioning the AMR graph into smaller fragments, and then generating the translation for each fragment, before finally deciding the order by solving an asymmetric generalized traveling salesman problem (AGTSP). A Maximum Entropy classifier is trained to estimate the traveling costs, and a TSP solver is used to find the optimized solution. The final model reports a BLEU score of 22.44 on the SemEval-2016 Task8 dataset.

研究动机与目标

• 为解决从缺乏句法结构的抽象意义表示（AMR）图生成流畅且语义准确文本的挑战。
• 改进现有依赖树线性化或短语基于模型且排序策略次优的AMR到文本生成方法。
• 探索将非对称广义旅行商问题（AGTSP）作为AMR片段在文本生成过程中排序的新框架。
• 评估基于规则的片段翻译与最大熵模型在AGTSP公式中估计旅行成本的有效性。
• 证明基于TSP的排序在生成连贯且准确文本方面优于标准束搜索。

提出的方法

• 该方法首先将输入的AMR图划分为有根且连通的片段，并将这些片段与预先学习的规则进行匹配，每条规则由一个AMR片段及其对应的文本翻译组成。
• 训练一个最大熵分类器，基于词汇重叠和语义相似性等特征，估计规则之间的“旅行成本”，以建模从一个规则到另一个规则的转换成本。
• 将AMR到文本生成问题重新表述为非对称广义旅行商问题（AGTSP），其中TSP图中的每个节点代表一个（概念，规则）对，而群组则表示必须恰好覆盖一次的概念。
• 使用TSP求解器寻找最小化总成本的最优规则序列，同时确保AMR中的所有概念都被恰好覆盖一次，并在图中添加起始和结束节点。
• 最终输出通过连接最优TSP路径中规则的翻译生成，通过设置零或无穷成本来强制执行内部规则顺序，以保持结构一致性。
• 使用改进的采样算法进行规则归纳，并通过规则匹配算法确保输入AMR的覆盖。

实验结果

研究问题

• RQ1 将AMR到文本生成重新表述为AGTSP是否能相比标准序列生成方法，带来更好的文本流畅性与语义准确性？
• RQ2 最大熵模型在估计规则间转换成本方面是否有效，以实现AMR片段的最优排序？
• RQ3 基于TSP的排序策略是否在从AMR图生成连贯且语法正确的句子方面优于束搜索？
• RQ4 通过片段分解生成的规则在性能上相比仅使用人工设计的概念规则，提升程度如何？
• RQ5 将基于规则的翻译与通过TSP实现的全局优化相结合，与端到端神经网络或短语基于模型相比，表现如何？

主要发现

• 所提方法在SemEval-2016任务8测试集上取得了22.44的BLEU分数，显著优于短语基于机器翻译（PBMT）基线模型（16.94）。
• 仅使用生成规则的模型（开发集17.68，测试集18.09）优于仅使用概念规则的模型（开发集13.15，测试集14.93），证实了学习到的、上下文敏感规则的重要性。
• 仅使用n-gram语言模型进行成本估计的模型（测试集17.19）表现不如完整模型（22.44），证明最大熵模型优于n-gram语言模型。
• 基于TSP的排序策略优于束搜索，所有消融实验设置中均表现出一致的性能提升。
• 在开发集中约84%的概念由生成规则覆盖，表明对语义内容具有较强的覆盖能力。
• 尽管性能优异，该模型仍因缺少边标签特征（如ARG0、ARG1）而无法正确识别主语角色（如将'boy'识别为主语），且在处理需要多次翻译的重入节点时存在困难。