[论文解读] Data-dependent Learning of Symmetric/Antisymmetric Relations for Knowledge Base Completion

Hitoshi Manabe, Katsuhiko Hayashi+1 more|arXiv (Cornell University)|Aug 25, 2018

Topic Modeling被引用 5

一句话总结

本文提出了一种数据驱动的L1正则化方法，用于ComplEx嵌入，该方法基于观测到的训练数据，自适应地在关系表征中鼓励对称性或反对称性。通过在耦合参数上应用乘法L1正则化，该方法在FB15k和WN18知识库补全任务中表现更优，尤其在低数据设置下，优于标准的L1和L2基线方法。

ABSTRACT

Embedding-based methods for knowledge base completion (KBC) learn representations of entities and relations in a vector space, along with the scoring function to estimate the likelihood of relations between entities. The learnable class of scoring functions is designed to be expressive enough to cover a variety of real-world relations, but this expressive comes at the cost of an increased number of parameters. In particular, parameters in these methods are superfluous for relations that are either symmetric or antisymmetric. To mitigate this problem, we propose a new L1 regularizer for Complex Embeddings, which is one of the state-of-the-art embedding-based methods for KBC. This regularizer promotes symmetry or antisymmetry of the scoring function on a relation-by-relation basis, in accordance with the observed data. Our empirical evaluation shows that the proposed method outperforms the original Complex Embeddings and other baseline methods on the FB15k dataset.

研究动机与目标

• 为解决标准ComplEx嵌入在建模对称与反对称关系时因冗余参数导致的效率低下问题。
• 开发一种能根据实际训练数据中观察到的对称性/反对称性自适应调整的正则化方法，而无需依赖先验知识。
• 通过鼓励表现出对称性或反对称性的关系采用更稀疏、更具结构化的表征，从而提升知识库补全的性能。
• 在关系既非完全对称也非完全反对称时，保持模型的表达能力，避免过度约束。

提出的方法

• 提出一种乘法L1正则化方法，作用于ComplEx中耦合参数的乘积，特别针对关系向量的实部与虚部。
• 该正则化方法根据数据驱动的对称性得分，促使对称关系的虚部减小，反对称关系的实部减小。
• 对称性通过一个对称性得分来量化，定义为给定关系的对称正样本三元组数量与所有正样本三元组数量的比值。
• 该方法使用一种改进的损失函数，将标准ComplEx打分函数与实部与虚部乘积上的乘法L1惩罚项相结合。
• 该方法设计为可微且端到端可训练，支持嵌入与正则化联合优化。
• 在合成数据上评估该方法，以验证其学习对称/反对称模式的能力，并在真实世界数据集如FB15k和WN18上进行测试。

实验结果

研究问题

• RQ1 一种数据驱动的正则化方法是否能有效识别并促进关系嵌入中的对称性或反对称性，而无需先验知识？
• RQ2 与标准L1或L2正则化相比，乘法L1正则化是否能带来对称与反对称关系更优的表征学习效果？
• RQ3 该方法在真实世界知识库补全基准上的表现如何，尤其是在低数据设置下？
• RQ4 学习到的嵌入结构在多大程度上与真实数据集中关系的实际对称性/反对称性相关？

主要发现

• 所提出的乘法L1正则化方法在FB15k数据集上显著优于标准L1和L2正则化，实现了更高的过滤MRR得分。
• 在WN18数据集上，当训练数据减半时，该方法的性能提升幅度大于标准L1正则化，表明其具有更高的数据效率。
• 在合成数据上的实验确认，该方法能够成功学习到如预期的对称与反对称打分函数。
• 关系向量分量的可视化显示，对称性得分与虚部稀疏性（对对称关系）及实部稀疏性（对反对称关系）之间存在强相关性，验证了该方法的预期行为。
• 在FB15k上进行八次随机初始化实验，MRR得分方差极低，表明该方法对初始化不敏感，性能稳定。
• 在FB15k和WN18上，该方法在所有评估指标上均持续优于原始ComplEx和标准L1正则化ComplEx。