[论文解读] Incorporating Both Distributional and Relational Semantics in Word Representations

Daniel Fried, Kevin Duh|arXiv (Cornell University)|Dec 14, 2014

Topic Modeling参考文献 13被引用 30

一句话总结

本文提出一种基于交替方向乘子法（ADMM）的联合学习框架，用于结合原始文本中的分布语义（通过神经语言模型）与WordNet中的关系语义（通过图距离、TransE或NTN）。关键贡献在于，经过联合优化的词嵌入在知识库补全和依存句法分析任务中表现更优，且一致优于单一目标模型，证明了整合两种语义范式的价值。

ABSTRACT

We investigate the hypothesis that word representations ought to incorporate both distributional and relational semantics. To this end, we employ the Alternating Direction Method of Multipliers (ADMM), which flexibly optimizes a distributional objective on raw text and a relational objective on WordNet. Preliminary results on knowledge base completion, analogy tests, and parsing show that word representations trained on both objectives can give improvements in some cases.

研究动机与目标

• 探究通过联合学习分布语义与关系语义是否能够提升词表示的质量。
• 开发一种灵活的优化框架，能够整合多样化的语义目标。
• 评估结合分布语义与关系语义信号是否能产生更鲁棒且泛化能力更强的词表示。
• 探索不同关系目标（图距离、TransE、NTN）在下游NLP任务中的影响。

提出的方法

• 该方法使用交替方向乘子法（ADMM）联合优化分布语义目标（神经语言模型）与关系语义目标（基于WordNet的相似性或关系建模）。
• 分布语义目标通过在原始文本的n-gram上使用噪声对比估计进行训练，采用合页损失来区分正确序列与噪声序列。
• 关系语义目标通过WordNet图距离建模语义相似性，或通过TransE或NTN学习关系的向量表示，对词嵌入施加结构约束。
• ADMM支持分布语义与关系语义目标的交替优化，实现对多样化损失函数的灵活整合。
• 词嵌入通过ADMM的增广拉格朗日框架迭代更新，利用对偶变量与惩罚项平衡双重目标。
• 训练完成后，仅保留学习到的词嵌入用于下游评估，与网络参数解耦。

实验结果

研究问题

• RQ1 联合优化分布语义与关系语义是否能提升多样化NLP任务中的词表示质量？
• RQ2 基于WordNet的关系结构整合如何影响知识库补全与句法分析任务的性能？
• RQ3 结合分布语义与关系语义目标是否优于单独使用任一目标？
• RQ4 在与分布语义学习联合优化时，不同关系建模方法（图距离、TransE、NTN）的表现如何比较？
• RQ5 多目标学习对类比推理与句法分析准确率有何影响？

主要发现

• 联合训练的嵌入（NLM + GD）在五个网络领域上的平均标注依存分数（LAS）达到76.18，优于单一目标NLM基线的76.03。
• NLM + GD模型在weblogs领域达到82.28%的准确率，为所有测试模型中的最高值。
• 在知识库补全任务中，联合模型（NLM + GD）的平均倒数排名（MRR）达到0.759，略高于仅使用NLM的基线。
• 在类比任务中，联合嵌入的表现与单一目标模型相当，表明其学习到了一个独特但有意义的语义空间。
• 联合模型始终优于仅训练单一目标的模型，表明分布语义与关系语义具有互补性。
• 尽管SANCL数据集的OOV率高达9–13%，联合表示在句法分析性能上的提升仍表明其具备鲁棒性与泛化能力。