[论文解读] Multi-modal space structure: a new kind of latent correlation for multi-modal entity resolution.

Qibin Zheng, Xingchun Diao+4 more|arXiv (Cornell University)|Apr 21, 2018

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出了一种新颖的多模态空间结构，通过在异构数据模态之间学习共享的潜在相关性，实现在无需大量配对训练数据情况下的统一表示学习。通过在共享空间中建模跨模态关系，该方法降低了对数据的依赖性，同时在基于分类的框架下保持了多模态实体消解的高性能。

ABSTRACT

Multi-modal data is becoming more common than before because of big data issues. Finding the semantically equal or similar objects from different data sources(called entity resolution) is one of the heart problem of multi-modal task. Current models for solving this problem usually needs much paired data to find the latent correlation between multi-modal data, which is of high cost. A new kind latent correlation is proposed in this article. With the correlation, multi-modal objects can be uniformly represented in a commonly shard space. A classifying based model is designed for multi-modal entity resolution task. With the proposed method, the demand of training data can be decreased much.

研究动机与目标

• 通过减少对配对训练样本的依赖，解决多模态实体消解中的高数据标注成本问题。
• 发现一种新型的潜在相关性，使多样化模态在共享表示空间中实现统一。
• 设计一种基于分类的模型，利用该潜在相关性实现高效的实体消解。
• 通过最小化监督需求，提升多模态学习的效率与可扩展性。

提出的方法

• 提出一种多模态空间结构，用于学习异构数据模态之间的共享潜在空间。
• 通过学习到的潜在相关性机制建模跨模态关系，以捕捉语义等价性。
• 设计一种基于分类的框架，利用统一的表示空间执行实体消解。
• 使用弱监督或有限的配对数据进行端到端训练，降低对大规模标注数据的依赖。
• 隐式地应用对比学习原则，促使语义相似的实体在共享空间中聚类在一起。
• 采用共享嵌入空间，将多模态对象映射到该空间以实现直接比较与消解。

实验结果

研究问题

• RQ1 如何在无需大量配对训练数据的情况下学习多模态数据之间的潜在相关性？
• RQ2 何种共享表示空间能够在最小监督条件下实现有效的多模态实体消解？
• RQ3 当使用有限的配对样本并结合所提出的潜在相关性进行训练时，基于分类的模型能否在实体消解中实现高准确率？
• RQ4 与现有方法相比，所提出的多模态空间结构在数据效率和性能方面表现如何？

主要发现

• 所提出的方法显著减少了多模态实体消解任务中对配对训练数据的需求。
• 学习到的潜在相关性能够在共享表示空间中有效对齐异构模态。
• 基于分类的模型在远少于现有方法所需标注数据的情况下，仍能实现具有竞争力的性能。
• 多模态空间结构通过捕捉模态间稳健的语义关系，提升了泛化能力。
• 该方法在低数据场景下仍表现出色，表明其具备高度的数据效率。