[论文解读] FRAGE: Frequency-Agnostic Word Representation

Chengyue Gong, Di He+4 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 45被引用 79

一句话总结

FRAGE 引入了一种对抗性训练框架，用于学习与频率无关的词嵌入，减少频率偏差并在词义相似性、语言建模、机器翻译和文本分类等任务上提高性能。

ABSTRACT

Continuous word representation (aka word embedding) is a basic building block in many neural network-based models used in natural language processing tasks. Although it is widely accepted that words with similar semantics should be close to each other in the embedding space, we find that word embeddings learned in several tasks are biased towards word frequency: the embeddings of high-frequency and low-frequency words lie in different subregions of the embedding space, and the embedding of a rare word and a popular word can be far from each other even if they are semantically similar. This makes learned word embeddings ineffective, especially for rare words, and consequently limits the performance of these neural network models. In this paper, we develop a neat, simple yet effective way to learn \emph{FRequency-AGnostic word Embedding} (FRAGE) using adversarial training. We conducted comprehensive studies on ten datasets across four natural language processing tasks, including word similarity, language modeling, machine translation and text classification. Results show that with FRAGE, we achieve higher performance than the baselines in all tasks.

研究动机与目标

• 检测并描述标准词嵌入中的频率驱动偏差。
• 开发一个对抗性训练框架，使词表示对词频的依赖性降低。
• 展示 FRAGE 在多种数据集和架构下提升下游 NLP 任务性能。

提出的方法

• 按频率将词汇表分为流行词和罕见词。
• 引入一个判别器，预测一个词嵌入属于流行词还是罕见词。
• 优化联合目标：L_T（任务特定损失）减去 lambda 乘以 L_D（判别器损失）。
• 训练模型和嵌入以最小化任务损失，同时欺骗判别器，从而实现频率无关的嵌入。
• 判别器被训练以最大化流行词与罕见词的分类准确性；嵌入则被训练以最小化任务损失并欺骗判别器。

实验结果

研究问题

• RQ1 用 FRAGE 学得的词嵌入是否降低频率偏差、并更好地捕捉罕见词的语义关系？
• RQ2 与任务特定基线相比，FRAGE 是否能在多样化的 NLP 任务中提升性能？
• RQ3 对抗性目标如何与标准任务损失交互，以产生更具语义意义的嵌入？

主要发现

• FRAGE 在词义相似性任务上持续优于基线，在 RW 罕见词数据集上大约提高 5.4 个点。
• 语言模型方面的增益：在 PTB 的测试困惑度上，在不同检查点分别提高 0.8、1.2、1.0 点；在 WT2 上提高 2.3、2.4、2.7 点。
• 机器翻译的 BLEU 提高：WMT14 En-De 的基线改进为 1.06，BIG 为 0.71；IWSLT De-En 增益为 0.85。
• 文本分类方面的准确率提升：在 AG’s News、IMDB、20NG 数据集上分别提升 1.26%、0.66%、0.44%。
• 在跨越词义相似性、语言建模、翻译和文本分类的 10 个数据集上，FRAGE 相较基线表现出改进。