[论文解读] LEARNING TO ORGANIZE KNOWLEDGE WITH N-GRAM MACHINES

Fan Yang, Jiazhong Nie+2 more|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling被引用 3

一句话总结

本文提出N-Gram机器（NGM），一种符号化神经网络框架，利用序列到序列模型将知识编码为紧凑、可索引的表示形式，实现与文本长度无关的高效问答。NGM通过端到端训练REINFORCE算法，并结合束搜索与自编码稳定化方法，有效管理离散潜在变量和大规模搜索空间，在bAbI和终身bAbI任务上实现了高准确率与可扩展性。

ABSTRACT

Deep neural networks (DNNs) had great success on NLP tasks such as language modeling, machine translation and certain question answering (QA) tasks. However, the success is limited at more knowledge intensive tasks such as QA from a big corpus. Existing end-to-end deep QA models (Miller et al., 2016; Weston et al., 2014) need to read the entire text after observing the question, and therefore their complexity in responding a question is linear in the text size. This is prohibitive for practical tasks such as QA from Wikipedia, a novel, or the Web. We propose to solve this scalability issue by using symbolic meaning representations, which can be indexed and retrieved efficiently with complexity that is independent of the text size. More specifically, we use sequence-to-sequence models to encode knowledge symbolically and generate programs to answer questions from the encoded knowledge. We apply our approach, called the N-Gram Machine (NGM), to the bAbI tasks (Weston et al., 2015) and a special version of them (life-long bAbI) which has stories of up to 10 million sentences. Our experiments show that NGM can successfully solve both of these tasks accurately and efficiently. Unlike fully differentiable memory models, NGM's time complexity and answering quality are not affected by the story length. The whole system of NGM is trained end-to-end with REINFORCE (Williams, 1992). To avoid high variance in gradient estimation, which is typical in discrete latent variable models, we use beam search instead of sampling. To tackle the exponentially large search space, we use a stabilized auto-encoding objective and a structure tweak procedure to iteratively reduce and refine the search space.

研究动机与目标

• 解决端到端深度学习问答模型在处理整个文档时线性依赖文本长度的问题，使其在维基百科或长篇故事等大规模语料中变得不切实际。
• 克服现有可微分记忆模型在文本长度增加时推理时间与性能下降的低效问题。
• 开发一种方法，通过将原始文本转换为符号化、可索引的程序，实现在任意输入大小下均实现快速、恒定时间的知识检索与推理。
• 训练一个端到端系统，从编码知识中生成可执行程序，确保无论输入大小如何，均保持高准确率与高效率。
• 通过束搜索与稳定化的自编码目标，缓解离散潜在变量模型在强化学习中的高方差问题。

提出的方法

• 使用序列到序列模型将自然语言文本转换为捕捉知识的紧凑、结构化符号意义表示（程序）。
• 采用REINFORCE结合束搜索，而非随机采样，以减少训练离散潜在变量时的梯度方差。
• 采用稳定化的自编码目标，以提升训练稳定性并缩小程序生成的搜索空间。
• 引入结构调整程序，通过迭代方式优化并缩小程序生成过程中的搜索空间。
• 高效索引与检索符号化知识表示，实现与原始文本大小无关的恒定时间响应。
• 使用强化学习端到端训练整个NGM系统，目标是生成正确程序以回答问题。

实验结果

研究问题

• RQ1 能否通过神经网络端到端学习符号化知识表示，以实现可扩展的问答？
• RQ2 使用可索引的符号化程序是否能消除问答系统中推理时间与文本长度之间的线性依赖？
• RQ3 束搜索结合稳定化自编码目标，如何提升离散潜在变量模型在程序生成中的训练稳定性和性能？
• RQ4 NGM能否在长上下文任务（如包含最多一千万句话的终身bAbI）中实现泛化？
• RQ5 在知识密集型问答任务中，NGM在准确率与推理效率方面，相较于完全可微分记忆模型，优势有多大？

主要发现

• NGM在标准bAbI任务和包含长达一千万句话故事的终身bAbI变体任务中均实现了高准确率。
• NGM的推理时间复杂度与故事长度无关，实现无论输入大小均恒定时间响应。
• 与可微分记忆模型不同，NGM的性能与推理速度在句子数量增加时保持稳定，不受影响。
• 使用束搜索而非采样显著降低了训练过程中的梯度方差，提升了收敛性与稳定性。
• 稳定化的自编码目标与结构调整程序有效缩小了搜索空间，实现了高效且准确的程序生成。
• NGM表明，从神经网络学习的表示中生成符号化程序，可实现可扩展、高准确率且高效的、知识密集型的问答。