[论文解读] xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks

Ting-Yun Chang, Ta-Chung Chi+2 more|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 19被引用 18

一句话总结

xSense 提出了一种无监督框架，通过注意力机制和循环神经网络（RNN）学习语义分离的稀疏表示，并生成可读的文本定义。该方法通过上下文感知的维度选择实现语义解耦，提供可解释的定义，在 BLEU 分数和人工评估中表现优越，同时发布了一个规模是现有资源五倍的高质量上下文-定义数据集。

ABSTRACT

Despite the success achieved on various natural language processing tasks, word embeddings are difficult to interpret due to the dense vector representations. This paper focuses on interpreting the embeddings for various aspects, including sense separation in the vector dimensions and definition generation. Specifically, given a context together with a target word, our algorithm first projects the target word embedding to a high-dimensional sparse vector and picks the specific dimensions that can best explain the semantic meaning of the target word by the encoded contextual information, where the sense of the target word can be indirectly inferred. Finally, our algorithm applies an RNN to generate the textual definition of the target word in the human readable form, which enables direct interpretation of the corresponding word embedding. This paper also introduces a large and high-quality context-definition dataset that consists of sense definitions together with multiple example sentences per polysemous word, which is a valuable resource for definition modeling and word sense disambiguation. The conducted experiments show the superior performance in BLEU score and the human evaluation test.

研究动机与目标

• 为解决密集词嵌入中的可解释性差距，特别是多义性问题（即多个含义被压缩到单一向量中）
• 通过识别上下文中与特定词义相对应的向量维度，实现对单个向量维度的直接解释
• 利用上下文信息生成自然语言定义，提升模型的透明度
• 构建并发布大规模、高质量的上下文-语义-定义三元组数据集，用于词义消歧和定义建模

提出的方法

• 使用稀疏自编码器将目标词的密集嵌入投影为高维稀疏向量，从而实现对特定语义维度的识别
• 应用注意力机制，从稀疏表示中选择最显著的维度，以最好地反映上下文中的词义
• 训练基于 RNN 的解码器，基于选定的稀疏向量和上下文生成人类可读的文本定义
• 使用上下文感知损失函数，将生成的定义与来自精选词典资源的真实定义对齐
• 采用 SIF（移位解释特征）句子嵌入计算最近邻，用于语义簇的定性分析
• 发布一个新数据集，其规模是先前资源的五倍，包含每个多义词的多个例句和定义

实验结果

研究问题

• RQ1 我们能否识别出稀疏词嵌入中与上下文中的特定词义相对应的特定维度？
• RQ2 我们能否生成准确、人类可读的文本定义，以反映词嵌入在上下文中的特定含义？
• RQ3 在 BLEU 分数和人工评估方面，该模型在定义生成方面的性能与现有方法相比如何？
• RQ4 仅通过上下文和稀疏表示，该模型在多义词消歧方面能实现多大程度的区分能力？

主要发现

• xSense 在自动评估（BLEU 分数）和人工评估的定义生成质量方面均优于现有方法
• 该模型成功识别出稀疏表示中与上下文相关的特定维度，实现了语义分离，且无需额外训练数据
• 生成的定义在语义上连贯，并与最近邻结果一致，表明语义聚类具有稳定性
• 由于训练数据中类别不平衡，模型偶尔会生成错误的定义，尤其在罕见词义上表现更明显
• 发布的数据集条目数量是现有资源的五倍，且包含高质量、对齐的例句和定义
• 错误分析表明，最近邻的质量可能成为错误传播的来源，尤其当 SIF 嵌入未能准确表示上下文时