[论文解读] Distributional semantic modeling: a revised technique to train term/word vector space models applying the ontology-related approach

Oleksandr Palagin, Vitalii Velychko+2 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 28被引用 10

一句话总结

本文提出了一种基于神经网络的新型技术，通过语义预处理技术（SPT）整合与本体相关的上下文知识（句法、术语和语义），实现分布式术语表征（术语嵌入）的训练。该方法能够创建面向应用的、以术语为中心的向量空间模型，提升语义地图的准确性，通过Vec2graph支持交互式图可视化，并提供全面的基于Web的乌克兰语NLP工具包，推动自动化本体开发的发展。

ABSTRACT

We design a new technique for the distributional semantic modeling with a neural network-based approach to learn distributed term representations (or term embeddings) - term vector space models as a result, inspired by the recent ontology-related approach (using different types of contextual knowledge such as syntactic knowledge, terminological knowledge, semantic knowledge, etc.) to the identification of terms (term extraction) and relations between them (relation extraction) called semantic pre-processing technology - SPT. Our method relies on automatic term extraction from the natural language texts and subsequent formation of the problem-oriented or application-oriented (also deeply annotated) text corpora where the fundamental entity is the term (includes non-compositional and compositional terms). This gives us an opportunity to changeover from distributed word representations (or word embeddings) to distributed term representations (or term embeddings). This transition will allow to generate more accurate semantic maps of different subject domains (also, of relations between input terms - it is useful to explore clusters and oppositions, or to test your hypotheses about them). The semantic map can be represented as a graph using Vec2graph - a Python library for visualizing word embeddings (term embeddings in our case) as dynamic and interactive graphs. The Vec2graph library coupled with term embeddings will not only improve accuracy in solving standard NLP tasks, but also update the conventional concept of automated ontology development. The main practical result of our work is the development kit (set of toolkits represented as web service APIs and web application), which provides all necessary routines for the basic linguistic pre-processing and the semantic pre-processing of the natural language texts in Ukrainian for future training of term vector space models.

研究动机与目标

• 为解决词嵌入在捕捉领域特定语义关系方面的局限性，将关注点从词级表示转向术语级表示。
• 通过将句法、术语和语义知识整合到术语抽取与关系识别中，提升自动化本体开发水平。
• 开发一个实用、可直接应用的工具包，用于乌克兰语文本的语言学与语义预处理，以训练领域特定的术语向量空间模型。
• 通过反映组合性与非组合性术语的术语嵌入，实现更精确的学科领域语义映射。
• 通过将预训练术语嵌入与交互式可视化及验证流程集成，更新传统本体工程方法。

提出的方法

• 该方法采用语义预处理技术（SPT），利用句法、术语和语义等上下文知识，从原始乌克兰语文本中提取术语（非组合性与组合性术语）。
• 构建以问题为导向或应用为导向的文本语料库，其基本单元为术语而非单词，从而实现以术语为中心的向量空间建模。
• 在这些标注语料库上使用基于神经网络的方法训练术语嵌入，取代传统的词嵌入框架。
• 使用Vec2graph Python库将术语嵌入可视化为动态、交互式图谱，支持对语义聚类与对立关系的探索。
• 提供一个完整的开发工具包，作为Web服务API和Web应用程序，集成语言学预处理、SPT与模型管理功能，服务于乌克兰语NLP。
• 系统支持与预训练词嵌入（包括上下文感知模型）的集成，并允许在不重新训练的情况下复用现有模型。

实验结果

研究问题

• RQ1 如何通过与本体相关的上下文知识提升在领域文本中术语抽取与关系识别的准确性？
• RQ2 术语嵌入在捕捉学科领域内语义关系方面，相较于词嵌入在多大程度上表现更优？
• RQ3 以术语为中心的向量空间模型是否能提升自动化本体开发中语义地图的质量与可解释性？
• RQ4 基于Web的工具包在多大程度上能够支持乌克兰语术语嵌入训练的完整语言学与语义预处理流程？
• RQ5 将预训练嵌入与SPT及可视化工具集成，对知识工程工作流程有何影响？

主要发现

• 所提出的基于SPT的方法成功利用句法、术语和语义知识，从乌克兰语文本中提取出非组合性与组合性术语。
• 通过该方法训练的术语向量空间模型生成的语义地图比传统词嵌入更准确，尤其在识别领域特定概念的聚类与对立关系方面表现更优。
• 将Vec2graph与术语嵌入集成，实现了语义关系的动态、交互式可视化，支持假设检验与知识验证。
• 开发工具包（包括Web API与Web应用程序）提供了完整的语言学预处理、SPT与模型管理流程，专为乌克兰语NLP量身定制。
• 该系统支持外部预训练词嵌入的复用，降低训练成本，同时在领域特定应用中保持高度的语义保真度。
• 该方法通过将语义预处理直接嵌入模型训练流程，推动了自动化本体开发的发展，显著提升了准确性与可解释性。