[论文解读] Image-embodied Knowledge Representation Learning

Ruobing Xie, Zhiyuan Liu+2 more|arXiv (Cornell University)|Sep 22, 2016

Multimodal Machine Learning Applications参考文献 13被引用 11

一句话总结

本文提出了一种图像嵌入知识表征学习（IKRL）模型，该模型通过神经图像编码器和基于注意力的聚合机制，将实体图像中的视觉信息整合到知识表征学习中，从而提升表征效果。实验结果表明，IKRL在知识图谱补全和三元组分类任务上显著优于基线方法，证明了视觉信号在提升知识表征学习方面的有效性。

ABSTRACT

Entity images could provide significant visual information for knowledge representation learning. Most conventional methods learn knowledge representations merely from structured triples, ignoring rich visual information extracted from entity images. In this paper, we propose a novel Image-embodied Knowledge Representation Learning model (IKRL), where knowledge representations are learned with both triple facts and images. More specifically, we first construct representations for all images of an entity with a neural image encoder. These image representations are then integrated into an aggregated image-based representation via an attention-based method. We evaluate our IKRL models on knowledge graph completion and triple classification. Experimental results demonstrate that our models outperform all baselines on both tasks, which indicates the significance of visual information for knowledge representations and the capability of our models in learning knowledge representations with images.

研究动机与目标

• 为解决现有知识表征学习方法仅依赖结构化三元组、忽略实体图像中丰富视觉信息的局限性。
• 开发一个统一框架，联合学习来自三元组事实和图像数据的知识表征。
• 利用真实世界基准数据集评估视觉信息对知识表征质量的影响。
• 分析注意力机制在选择有助于实体表征的有信息量图像实例中的作用。

提出的方法

• 使用包含表示模块和投影模块的神经图像编码器，为每个实体图像生成基于图像的嵌入表示。
• 采用基于注意力的机制，将多个图像表示聚合为每个实体的单一统一图像表征。
• 将聚合后的图像表征集成到基于平移的知识表征框架（如TransE）中，联合优化实体和关系嵌入。
• 模型使用基于平移向量L2范数的差异性函数（||h + r - t||）对三元组进行评分。
• 评估了多种聚合策略（MAX、AVG和ATT），其中ATT表现最优。
• 该框架可扩展至TransE以外的其他基于平移的模型。

实验结果

研究问题

• RQ1 来自实体图像的视觉信息是否能超越结构化三元组事实，提升知识表征学习效果？
• RQ2 注意力机制在从多个图像实例中选择有信息量的图像以用于实体表征方面，效果如何？
• RQ3 学习得到的基于图像的表征是否表现出与词嵌入中类似的语义规律性？
• RQ4 整合图像数据是否能在下游知识图谱任务中带来可测量的性能提升？

主要发现

• IKRL（ATT）模型在三元组分类任务上达到96.9%的准确率，显著优于TransE（95.0%）和TransR（95.3%），证明了基于注意力的图像聚合方法的有效性。
• 所有IKRL变体均优于基线模型，证实视觉信息能够增强知识表征学习。
• 注意力机制成功识别并降低了低质量或模糊图像的影响，例如将手机错误分类为便携式电脑的图像。
• 在图像-知识联合嵌入空间中发现了语义规律性，如“dresser - drawer ≈ part_of”，表明存在有意义的视觉类比关系。
• 模型展现出鲁棒性和泛化能力，在知识图谱补全和三元组分类任务中均保持一致的性能提升。