[论文解读] Lifelong Domain Word Embedding via Meta-Learning

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|May 25, 2018

Topic Modeling参考文献 18被引用 13

一句话总结

本文提出 L-DEM，一种用于终身领域词嵌入的元学习框架，通过从先前见过的领域中检索并整合相关上下文知识来增强新领域的词嵌入。通过利用参数化元学习器识别跨领域的语义相似上下文，L-DEM 提升了下游 NLP 任务的性能，其中 L-DEM 200D + ND 30M 在三个新领域上实现了最先进准确率。

ABSTRACT

Learning high-quality domain word embeddings is important for achieving good performance in many NLP tasks. General-purpose embeddings trained on large-scale corpora are often sub-optimal for domain-specific applications. However, domain-specific tasks often do not have large in-domain corpora for training high-quality domain embeddings. In this paper, we propose a novel lifelong learning setting for domain embedding. That is, when performing the new domain embedding, the system has seen many past domains, and it tries to expand the new in-domain corpus by exploiting the corpora from the past domains via meta-learning. The proposed meta-learner characterizes the similarities of the contexts of the same word in many domain corpora, which helps retrieve relevant data from the past domains to expand the new domain corpus. Experimental results show that domain embeddings produced from such a process improve the performance of the downstream tasks.

研究动机与目标

• 解决训练高质量领域特定词嵌入时领域内语料有限的挑战。
• 克服通用嵌入（如 GloVe）因语义漂移而常无法捕捉领域特定词义的局限性。
• 通过允许新领域嵌入从先前见过的领域中积累的知识中受益，实现在 NLP 中的持续学习。
• 开发一种自动、无需用户干预的方法，以识别并整合相关的历史领域上下文到新领域训练语料中。
• 通过元学习将语义相关数据从历史领域丰富到新领域语料中，从而提升下游 NLP 任务（如分类）的性能。

提出的方法

• 引入一种终身学习设置，其中新领域嵌入任务利用 n 个先前见过的领域中的知识。
• 设计一个多领域元学习器，通过建模上下文嵌入来学习在不同领域间识别相似词上下文。
• 使用参数化元学习器计算目标词在新领域中的上下文与历史领域中上下文之间的相似度。
• 通过从历史领域检索相关上下文来扩充新领域语料，以增加训练数据的多样性与领域特异性。
• 使用组合语料（新领域 + 检索到的历史上下文）通过 skip-gram 或类似目标训练最终的词嵌入。
• 通过在下游分类任务上使用冻结嵌入的 Bi-LSTM 分类器来评估方法，以隔离嵌入质量的影响。

实验结果

研究问题

• RQ1 元学习器是否能在无监督条件下有效识别跨多样化领域的语义相似词上下文？
• RQ2 将相关历史领域上下文整合到新领域语料中是否能提升所学领域嵌入的质量？
• RQ3 所提方法在下游 NLP 任务上的性能与通用嵌入（如 GloVe）及基于拼接的基线方法相比如何？
• RQ4 使用更多历史领域对嵌入质量与下游任务准确率有何影响？
• RQ5 参数化元学习器在检索有用历史上下文方面是否显著优于非参数化方法（如 TF-IDF + 余弦相似度）？

主要发现

• L-DEM 200D + ND 30M 在所有三个下游领域中均达到最高准确率：在 Computer Components 上为 0.887，在 Kitchen Storage and Organization 上为 0.783，在 Cats Supply 上为 0.817。
• L-DEM 的性能随着更多历史领域的引入而提升，表明来自更多样化领域集合的知识能增强嵌入质量。
• 将全部 200 个历史领域与新领域语料合并（200D + ND 30M）反而导致性能下降，原因是领域不匹配与噪声。
• 参数化元学习器（L-DEM）在除更通用的 Computer Components 领域外，显著优于非参数化变体（L-DENP）。
• 将 L-DEM 嵌入与 GloVe.840B 拼接后，性能优于单独使用 GloVe，表明 L-DEM 能增强领域特定表示学习。
• GloVe.840B 在 Computer Components 领域的表现几乎与 L-DEM 相当，表明该领域更通用，对领域特定上下文不那么敏感。