[论文解读] Informational Space of Meaning for Scientific Texts

Neslihan Süzen, Evgeny M. Mirkes+1 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Text Analysis Techniques参考文献 8被引用 4

一句话总结

本文提出了一种新颖的向量空间模型——'意义空间'（Meaning Space），通过在252个Web of Science学科类别中使用相对信息增益（RIG）来量化科学文本中的词义。该方法应用于莱斯特科学语料库（167万条文摘）和词典（LScDC），基于RIG的表示方法在识别主题特定、高影响力的科学术语方面优于原始词频，其103,998 × 252的RIG矩阵以及新的科学同义词词典（LScT）已公开发布。

ABSTRACT

In Natural Language Processing, automatic extracting the meaning of texts constitutes an important problem. Our focus is the computational analysis of meaning of short scientific texts (abstracts or brief reports). In this paper, a vector space model is developed for quantifying the meaning of words and texts. We introduce the Meaning Space, in which the meaning of a word is represented by a vector of Relative Information Gain (RIG) about the subject categories that the text belongs to, which can be obtained from observing the word in the text. This new approach is applied to construct the Meaning Space based on Leicester Scientific Corpus (LSC) and Leicester Scientific Dictionary-Core (LScDC). The LSC is a scientific corpus of 1,673,350 abstracts and the LScDC is a scientific dictionary which words are extracted from the LSC. Each text in the LSC belongs to at least one of 252 subject categories of Web of Science (WoS). These categories are used in construction of vectors of information gains. The Meaning Space is described and statistically analysed for the LSC with the LScDC. The usefulness of the proposed representation model is evaluated through top-ranked words in each category. The most informative n words are ordered. We demonstrated that RIG-based word ranking is much more useful than ranking based on raw word frequency in determining the science-specific meaning and importance of a word. The proposed model based on RIG is shown to have ability to stand out topic-specific words in categories. The most informative words are presented for 252 categories. The new scientific dictionary and the 103,998 x 252 Word-Category RIG Matrix are available online. Analysis of the Meaning Space provides us with a tool to further explore quantifying the meaning of a text using more complex and context-dependent meaning models that use co-occurrence of words and their combinations.

研究动机与目标

• 开发一种计算模型，用于量化短篇科学文本（如文摘）中的词义。
• 解决在科学文献中识别主题特定、语义重要词汇的挑战，超越简单的词频统计。
• 构建一种‘意义空间’，其中词义通过在各学科类别中相对信息增益（RIG）的向量表示。
• 创建一个公开可用的科学词典和RIG矩阵，以供自然语言处理与文本挖掘应用。

提出的方法

• 将每个词表示为在252个Web of Science学科类别中相对信息增益（RIG）值的向量。
• 使用信息论原理计算每个词-类别对的RIG值，以衡量一个词的出现如何减少对类别的不确定性。
• 利用包含1,673,350篇科学文摘的莱斯特科学语料库（LSC）及其派生的莱斯特科学词典核心（LScDC）构建意义空间。
• 利用RIG矩阵对每个类别中的最具信息量词汇进行排序，从而识别出领域特定的专业术语。
• 应用降维与聚类技术，探索意义空间的结构。
• 公开发布103,998 × 252的词-类别RIG矩阵以及一个新的科学同义词词典（LScT）。

实验结果

研究问题

• RQ1 基于RIG的词表示是否能在识别科学文本中最具意义且主题特定的词汇方面显著优于原始词频？
• RQ2 基于RIG的向量空间模型在多学科研究领域中，如何捕捉科学术语的语义特异性？
• RQ3 通过RIG构建的‘意义空间’在多大程度上揭示了词汇使用与类别关联中的有意义模式？
• RQ4 RIG矩阵及其生成的同义词词典（LScT）能否作为科学文本分析与信息抽取的稳健、数据驱动工具？

主要发现

• 在全部252个学科类别中，基于RIG的排序方法在识别主题特定、高影响力的科学术语方面显著优于原始词频。
• 每个类别中最具信息量的词汇——如女性研究领域中的‘femal’（RIG: 3.6×10⁻²）和动物学领域的‘speci’（RIG: 1.9×10⁻¹）——均高度相关且具有语境意义。
• 103,998 × 252的词-类别RIG矩阵为跨学科科学词汇意义提供了全面且公开可访问的表示。
• 所提出的‘意义空间’可通过信息增益分析有效发现异常值与领域特定术语。
• 基于RIG矩阵成功构建了莱斯特科学同义词词典（LScT），为科学文本挖掘提供了新资源。
• 该模型在涉及词共现与语义组合的高级语义建模中展现出强大潜力。