[论文解读] Adaptive Joint Learning of Compositional and Non-Compositional Phrase Embeddings

Kazuma Hashimoto, Yoshimasa Tsuruoka|arXiv (Cornell University)|Mar 19, 2016

Topic Modeling参考文献 31被引用 8

一句话总结

本文提出了一种自适应联合学习框架，通过可学习的组合性评分函数，结合组合性与非组合性短语嵌入。该方法根据短语的特定组合性水平动态加权嵌入，在动词短语组合性检测与及物动词消歧任务上实现了最先进性能，优于先前方法，在人类评分的组合性相关性与下游任务准确率方面均表现更优。

ABSTRACT

We present a novel method for jointly learning compositional and non-compositional phrase embeddings by adaptively weighting both types of embeddings using a compositionality scoring function. The scoring function is used to quantify the level of compositionality of each phrase, and the parameters of the function are jointly optimized with the objective for learning phrase embeddings. In experiments, we apply the adaptive joint learning method to the task of learning embeddings of transitive verb phrases, and show that the compositionality scores have strong correlation with human ratings for verb-object compositionality, substantially outperforming the previous state of the art. Moreover, our embeddings improve upon the previous best model on a transitive verb disambiguation task. We also show that a simple ensemble technique further improves the results for both tasks.

研究动机与目标

• 解决在短语嵌入学习中将所有短语视为完全组合性或非组合性的局限性。
• 克服非组合性嵌入中的数据稀疏性问题以及组合性学习中非组合性短语带来的噪声。
• 联合优化组合性分数与短语嵌入，以提升表征学习效果。
• 实现基于学习到的组合性水平，对组合性与非组合性嵌入进行灵活的、短语特定的加权。

提出的方法

• 该方法使用可微分的评分函数为每个短语 p 计算组合性分数 α(p)，该函数与短语嵌入目标联合优化。
• 短语嵌入 v(p) 由加权组合构成：v(p) = α(p)c(p) + (1−α(p))n(p)，其中 c(p) 为组合性嵌入，n(p) 为非组合性嵌入。
• 组合性嵌入 c(p) 通过组合函数 f（如加法或 RNN）从词嵌入导出。
• 非组合性嵌入 n(p) 作为每个短语独立学习的唯一向量，避免依赖于组成词的语义。
• 组合性分数函数与主任务目标端到端联合训练，使模型能够学习在何时依赖组合性或非组合性表示。
• 该框架应用于及物动词短语学习，实验涵盖组合性检测与动词消歧任务。

实验结果

研究问题

• RQ1 联合学习的组合性分数是否能相比固定或二值化的组合性假设，提升短语嵌入的质量？
• RQ2 该模型在检测动词-宾语短语组合性水平方面，与人工标注评分的匹配程度如何？
• RQ3 对组合性与非组合性嵌入进行自适应加权，是否能提升下游 NLP 任务（如动词消歧）的性能？
• RQ4 该组合性评分函数能否在习语与非习语短语之间实现泛化？
• RQ5 集成技术在多大程度上提升了模型性能？

主要发现

• 所提方法在动词短语组合性检测任务上达到最先进性能，组合性分数与人类评分具有强相关性。
• 该模型在及物动词消歧任务上优于先前最先进方法，表现出更强的泛化能力。
• 模型学习到的组合性分数对短语语义具有高度预测性，低分短语（如 'bear fruit'）主要为非组合性。
• 通过在适当情况下减少对组成词语义的依赖，该方法有效捕捉了习语意义，近邻分析结果表明了这一点。
• 简单的集成技术进一步提升了组合性检测与动词消歧任务的性能。
• 模型为非习语短语（如 'buy car'，α=0.71）分配更高的组合性分数，反映其组合性特征；而为习语（如 'take toll'，α≈0.2）分配较低分数，更倾向于使用非组合性表示。