[论文解读] Knowledge Authoring and Question Answering via Controlled Natural Language

Gao, Tiantian|arXiv (Cornell University)|Oct 19, 2017

Natural Language Processing Techniques参考文献 12被引用 41

一句话总结

SLING 是一种神经框架语义解析框架，通过使用双向LSTM编码和基于转换的循环单元（TBRU）进行端到端训练，直接将自然语言文本映射为语义框架图。该框架在OntoNotes数据集上实现了SOTA性能，Slot F1达到79.95%，并通过JIT编译的Myelin运行时实现高速推理，每秒可处理2500个token。

ABSTRACT

Knowledge acquisition from text is the process of automatically acquiring, organizing and structuring knowledge from text which can be used to perform question answering or complex reasoning. However, current state-of-the-art systems are limited by the fact that they are not able to construct the knowledge base with high quality as knowledge representation and reasoning (KRR) has a keen requirement for the accuracy of data. Controlled Natural Languages (CNLs) emerged as a technology to author knowledge using a restricted subset of English. However, they still fail to do so as sentences that express the same information may be represented by different forms. Current CNL systems have limited power to standardize sentences that express the same meaning into the same logical form. We solved this problem by building the Knowledge Authoring Logic Machine (KALM), which is a technology for domain experts who are not familiar with logic to author knowledge using CNL. The system performs semantic analysis of English sentences and achieves superior accuracy of standardizing sentences that express the same meaning to the same logical representation. Besides, we developed the query part of KALM to perform question answering, which also achieves very high accuracy in query understanding.

研究动机与目标

• 开发一种神经语义解析器，绕过中间符号表示，直接从原始文本token输出框架图。
• 通过联合训练所有组件，提升联合语义解析任务（如命名实体识别、语义角色标注和共指消解）的端到端性能。
• 通过JIT编译的神经网络运行时，实现高效、低延迟的推理，以支持真实世界应用。
• 探索聚焦于动态演化框架结构而非输入token的注意力机制，以提升解析过程中的上下文感知能力。

提出的方法

• 使用双向LSTM将输入文本token编码为上下文向量表示。
• 采用基于转换的循环单元（TBRU）生成一系列解析动作，逐步构建框架图。
• 引入一种面向框架的注意力机制，聚焦于先前创建的框架而非输入token。
• 将语义框架表示为有向图，包含命名槽位及其值，支持框架引用，从而支持复杂语义结构。
• 在C++中使用框架存储（frame store）数据结构，实现对框架图的紧凑、高效存储与管理。
• 使用JIT编译器（Myelin）将神经网络编译为优化的x64机器代码，实现高速推理。

实验结果

研究问题

• RQ1 神经网络能否在无需中间符号表示的情况下，直接将原始文本解析为语义框架图？
• RQ2 面向框架的注意力机制（聚焦于动态演化的框架结构）相比聚焦于输入token的注意力机制，能否显著提升解析准确率？
• RQ3 对联合语义解析模型进行端到端训练，在实体、类型、角色和框架预测任务上的性能提升程度如何？
• RQ4 JIT编译的神经网络推理引擎是否能在速度和内存效率上显著超越标准深度学习框架？

主要发现

• SLING解析器在OntoNotes测试集上实现了79.95%的Slot F1分数，表明其在联合预测框架、角色、类型和标签方面表现强劲。
• 模型在Span F1和Frame F1上均达到约93.8%，表明其在识别和链接语义片段及框架方面具有高准确性。
• Role F1得分为69.65%，表明框架间链接预测仍是挑战，可能源于对框架间关系建模不足。
• Myelin编译后的解析器每秒可处理2500个token，速度超过基于TensorFlow的版本（每秒200个token）十倍以上。
• 模型在未见数据上泛化能力良好，开发集与测试集之间性能差距极小，表明尽管正则化有限，仍具备鲁棒性。
• LABEL F1分数显示出过拟合迹象，开发集上峰值为96.18，最终检查点下降至95.73，表明需要改进正则化或架构设计。