[论文解读] Learning Household Task Knowledge from WikiHow Descriptions

Yilun Zhou, Julie Shah+1 more|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 22被引用 16

一句话总结

本文提出了一种深度学习模型，通过使用WikiHow文章学习家庭任务及其程序性步骤的联合嵌入，实现对步骤相关性和顺序的预测。该模型通过利用步骤说明的LSTM编码，实现了0.911的步骤相关性预测准确率和0.752的步骤排序准确率，证明了从非结构化文本中获取常识性程序知识的可行性。

ABSTRACT

Commonsense procedural knowledge is important for AI agents and robots that operate in a human environment. While previous attempts at constructing procedural knowledge are mostly rule- and template-based, recent advances in deep learning provide the possibility of acquiring such knowledge directly from natural language sources. As a first step in this direction, we propose a model to learn embeddings for tasks, as well as the individual steps that need to be taken to solve them, based on WikiHow articles. We learn these embeddings such that they are predictive of both step relevance and step ordering. We also experiment with the use of integer programming for inferring consistent global step orderings from noisy pairwise predictions.

研究动机与目标

• 开发一种从非结构化自然语言文本中获取常识性程序知识的方法，重点关注家庭任务。
• 联合学习任务和步骤的嵌入表示，使其能够预测步骤的相关性和正确顺序。
• 在两个关键任务上评估模型性能：步骤相关性预测和步骤顺序预测。
• 探究整数规划是否可通过识别模糊配对来改善全局步骤排序。
• 分析学习到的嵌入表示的语义结构，以提升可解释性并进行聚类分析。

提出的方法

• 模型采用孪生LSTM架构，将任务标题和步骤描述编码为密集向量嵌入。
• 使用双向LSTM对步骤说明进行编码，以捕捉上下文语义信息。
• 通过任务嵌入与步骤嵌入之间的相似性得分预测步骤相关性。
• 通过两两步骤之间的排序损失预测步骤顺序，训练目标为将正确顺序排在更高位置。
• 在训练后应用整数规划，从噪声较大的成对预测中推断一致的全局排序。
• 使用t-SNE将任务嵌入在降维后的二维空间中可视化，以观察语义聚类情况。

实验结果

研究问题

• RQ1 深度学习模型能否有效从非结构化的WikiHow文章中提取程序知识？
• RQ2 学习到的嵌入表示在多大程度上能预测某个给定步骤是否属于特定家庭任务？
• RQ3 该模型在多大程度上能正确预测任务中非连续两个步骤的顺序？
• RQ4 整数规划是否可通过识别模糊的步骤配对来改善全局步骤排序？
• RQ5 学习到的任务嵌入中呈现出怎样的语义结构？它们是否反映了有意义的聚类？

主要发现

• 采用LSTM编码步骤说明的完整模型在步骤相关性预测上达到了0.911的准确率，优于基线模型。
• 模型在步骤排序任务上取得了0.752的准确率，表明尽管存在噪声，其在顺序预测方面仍表现出色。
• 即使使用词袋表示法对步骤说明进行编码，性能仍优于无说明输入，但效果不及LSTM编码。
• 模型表现出过拟合迹象：训练准确率持续较高，而验证准确率在数千轮迭代后趋于稳定。
• 整数规划推理在错误减少方面优于随机模糊配对分配，但提升有限，表明训练信号的一致性存在局限。
• t-SNE可视化揭示了相关家庭任务的语义上合理的聚类，表明嵌入捕捉到了连贯的概念分组。