[论文解读] Learning to Order Facts for Discourse Planning in Natural Language Generation

Aggeliki Dimitromanolaki, Ion Androutsopoulos|ArXiv.org|Jun 13, 2003

Natural Language Processing Techniques参考文献 28被引用 17

一句话总结

本文提出一种机器学习方法，用于在自然语言生成的语篇规划中学习最优的事实排序，采用感知机和决策树算法的监督分类方法。在博物馆展品说明的评估中，所学模型优于手工规则，展现出更优的性能，并且在无需语言学专业知识的情况下可复用于相似领域。

ABSTRACT

This paper presents a machine learning approach to discourse planning in natural language generation. More specifically, we address the problem of learning the most natural ordering of facts in discourse plans for a specific domain. We discuss our methodology and how it was instantiated using two different machine learning algorithms. A quantitative evaluation performed in the domain of museum exhibit descriptions indicates that our approach performs significantly better than manually constructed ordering rules. Being retrainable, the resulting planners can be ported easily to other similar domains, without requiring language technology expertise.

研究动机与目标

• 解决在自然语言生成的语篇规划中确定事实最自然顺序的挑战。
• 开发一种可训练、可重用的事实排序系统，避免依赖专家语言学知识。
• 评估机器学习是否能在真实世界领域中超越手工设计的排序规则。
• 通过重新训练实现话语规划器对新相似领域的轻松适应。

提出的方法

• 该方法使用监督机器学习，在博物馆展品说明的事实排序标注示例上训练模型。
• 应用两种学习算法——感知机和C4.5决策树，以学习事实的最优序列。
• 特征包括事实的语义、句法和语篇层面属性，如主题突出度和主题连贯性。
• 系统学习基于其上下文相关性和语篇连贯性对事实进行排序。
• 通过自动指标和人工判断评估生成文本质量，对训练好的模型进行评估。
• 该框架设计为可轻松重新训练以适应新领域，且无需语言学专业知识。

实验结果

研究问题

• RQ1 机器学习能否有效学习自然语言生成中语篇规划的自然事实排序？
• RQ2 在真实世界领域中，所学模型的性能与手工构建的排序规则相比如何？
• RQ3 所学模型在多大程度上可被重新训练并适应新相似领域？
• RQ4 哪些特征最能预测事实序列中自然的语篇顺序？

主要发现

• 机器学习模型在语篇质量和自然度方面显著优于手工构建的排序规则。
• 基于感知机的模型表现最佳，证明了判别式学习在此任务中的有效性。
• 系统成功以极少工作量重新训练用于新领域，显示出强大的可移植性和可重用性。
• 人工评估确认，使用所学排序生成的文本在连贯性和自然度方面更受认可。
• 该方法减少了系统开发中对语言学专业知识的需求，使非专业人士也能轻松将规划器适配至新领域。