[论文解读] Ask, and shall you receive?: Understanding Desire Fulfillment in Natural Language Text

Snigdha Chaturvedi, Dan Goldwasser+1 more|arXiv (Cornell University)|Nov 30, 2015

Topic Modeling参考文献 25被引用 11

一句话总结

本文提出了一项新颖的自然语言理解任务：判断短文本中表达的欲望是否由后续的叙事事件得以实现。该文提出一种潜在结构化模型，通过表征情感和动作线索的隐藏状态来追踪叙事进展，通过建模话语结构，在 SimpleWiki 数据集上取得 70.2 的 F1 分数，在 MCTest 数据集上取得 67.9 的 F1 分数，优于非结构化模型和文本蕴涵基线模型。

ABSTRACT

The ability to comprehend wishes or desires and their fulfillment is important to Natural Language Understanding. This paper introduces the task of identifying if a desire expressed by a subject in a given short piece of text was fulfilled. We propose various unstructured and structured models that capture fulfillment cues such as the subject's emotional state and actions. Our experiments with two different datasets demonstrate the importance of understanding the narrative and discourse structure to address this task.

研究动机与目标

• 解决自然语言文本中表达的欲望是否由后续叙事事件实现的挑战。
• 探究叙事与话语结构在理解欲望实现中的作用，超越孤立的文本蕴涵分析。
• 开发并评估整合世界知识与情感/动作线索的模型，以推断欲望结果。
• 发布两个标注数据集，以支持未来关于叙事文本中欲望实现的研究。
• 比较结构化、非结构化以及基于文本蕴涵的模型，以分离叙事建模的影响。

提出的方法

• 该任务被建模为二分类问题：给定一个欲望表达（包含 'wanted to'、'wished to' 或 'hoped to'）和一系列证据片段，预测该欲望是否得以实现。
• 提出一种潜在结构化模型（LSNM），通过表征向欲望实现推进的隐藏状态之间的转移来建模。
• 每个证据片段通过更新隐藏状态序列来贡献，其中每个状态编码事件或情感状态是否支持或反对实现。
• 该模型使用融合世界知识和情感极性的特征来指导状态转移，最终隐藏状态用于预测。
• 非结构化模型将所有证据片段聚合为单一表征，而文本蕴涵（TE）模型则独立评估每个片段。
• 通过 F1 和准确率评估模型性能，超参数（如隐藏状态数量 H）通过交叉验证进行调优。

实验结果

研究问题

• RQ1 能否通过孤立分析单个证据片段并使用文本蕴涵，准确预测欲望实现？
• RQ2 将完整证据序列整体建模（不考虑叙事结构）是否能提升性能，优于片段级分析？
• RQ3 通过隐藏状态转移对证据片段的叙事结构进行建模，在多大程度上能提升欲望实现预测性能？
• RQ4 文本复杂性差异（如儿童故事与真实生活传记）如何影响欲望实现模型的性能？
• RQ5 情感状态和行动结果在表征欲望实现或未实现方面发挥何种作用？

主要发现

• 潜在结构化模型（LSNM）在 SimpleWiki 数据集上取得 70.2 的 F1 分数，在 MCTest 数据集上取得 67.9 的 F1 分数，优于非结构化模型和文本蕴涵基线模型。
• 非结构化模型优于文本蕴涵模型（56.9 F1），表明孤立片段分析不足，必须采用整体证据分析。
• 最优隐藏状态数量（H）在不同数据集间存在差异——MCTest 为 2，SimpleWiki 为 15，反映出真实生活叙事中叙事复杂性更高、实现线索更间接。
• LSNM 相对于非结构化模型的性能提升表明，通过隐藏状态建模叙事进展，能通过捕捉序列依赖关系增强预测能力。
• 结果证实，欲望实现不仅依赖词汇匹配或孤立推理，更需要理解叙事流和因果推进。
• 发布两个标注数据集（MCTest 和 SimpleWiki）为未来自然语言中欲望理解的研究奠定了基础。