[论文解读] Context-Sensitive Measurement of Word Distance by Adaptive Scaling of a Semantic Space

Hideki Kozima, Akira Itô|ArXiv.org|Jan 23, 1996

Speech and dialogue systems参考文献 12被引用 14

一句话总结

本文提出通过自适应缩放语义空间实现上下文敏感的语义距离度量，其中基于词典语义网络生成的词向量（Q-向量）会根据上下文词集 C 动态重加权。该方法通过将语义距离与上下文线索对齐，提升了词预测的准确性，表明上下文感知的向量缩放可增强自然语言处理任务（如文本理解与词义消歧）的效果。

ABSTRACT

The paper proposes a computationally feasible method for measuring context-sensitive semantic distance between words. The distance is computed by adaptive scaling of a semantic space. In the semantic space, each word in the vocabulary V is represented by a multi-dimensional vector which is obtained from an English dictionary through a principal component analysis. Given a word set C which specifies a context for measuring word distance, each dimension of the semantic space is scaled up or down according to the distribution of C in the semantic space. In the space thus transformed, distance between words in V becomes dependent on the context C. An evaluation through a word prediction task shows that the proposed measurement successfully extracts the context of a text.

研究动机与目标

• 解决静态、上下文无关的语义距离度量在捕捉动态词关系方面的局限性。
• 建模词关联如何随上下文变化，例如 'car' 可能关联 'vehicle' 或 'engine'。
• 开发一种计算上可行的方法，用于度量词语之间的上下文敏感语义相似性。
• 通过词预测任务评估该方法在捕捉文本上下文连贯性方面的有效性。
• 探索自适应缩放作为人类记忆与注意力机制在上下文追踪中作用的模型潜力。

提出的方法

• 词汇表中的每个词均通过主成分分析（PCA）从 2851 维的 P-向量生成 Q-向量。
• P-向量通过在基于《朗文当代英语词典》（LDOCE）构建的语义网络上传播激活生成。
• 对于给定的上下文 C，语义空间的每个维度根据 C 中词语在语义空间中的分布进行上采样或下采样。
• 自适应缩放通过调整各维度的向量幅度，突出与上下文对齐的维度，使距离具有上下文依赖性。
• 由此生成的变换空间计算词语 w 与 w' 在上下文 C 下的上下文敏感距离 d(w, w'|C)。
• 通过词预测任务评估该方法，衡量模型基于前序上下文预测后续词语的能力。

实验结果

研究问题

• RQ1 如何以计算高效的方式使词语之间的语义距离具有上下文敏感性？
• RQ2 与静态方法相比，语义空间的自适应缩放在多大程度上提升了词预测的准确性？
• RQ3 能否通过向量空间重加权有效建模特定上下文中的词关联（例如 'car' → 'bus' 与 'car' → 'engine'）？
• RQ4 该方法在多大程度上反映了人类注意力与记忆动态在词关联中的作用？
• RQ5 该方法能否推广至词义消歧或语音识别等任务？

主要发现

• 所提方法成功捕捉了上下文特定的词关联，例如能区分 'car' 在 'vehicle' 与 'component' 上下文中的语义关联。
• 语义空间的自适应缩放显著提升了词预测性能，表明上下文建模能力得到增强。
• 该方法通过根据上下文聚焦于相关语义维度，降低了下游自然语言处理任务的计算成本。
• 经主成分分析评估验证，281 维的 Q-向量空间在保留足够语义信息的同时有效减少了噪声。
• 该模型表现出类似人类记忆与注意力的动态行为，能根据当前上下文调整关注焦点。
• 该方法通过在特定上下文中优先考虑与词义相关的关联，实现了上下文感知的词义消歧。