[论文解读] Multi-Context Label Embedding.

Yaxin Shi, Donna Xu+2 more|arXiv (Cornell University)|May 3, 2018

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

本文提出多上下文标签嵌入（MCLE），一种基于矩阵分解的方法，通过共享变量联合建模多种标签上下文（如标签层次结构和属性），以捕捉上下文间的依赖关系。通过施加稀疏性约束，MCLE 提升了可解释性，并在两个真实世界数据集上实现了零样本图像分类和标签描述的最先进性能。

ABSTRACT

Label embedding plays an important role in zero-shot learning. Side information such as attributes, semantic text representations, and label hierarchy are commonly used as the label embedding in zero-shot classification tasks. However, the label embedding used in former works considers either only one single context of the label, or multiple contexts without dependency. Therefore, different contexts of the label may not be well aligned in the embedding space to preserve the relatedness between labels, which will result in poor interpretability of the label embedding. In this paper, we propose a Multi-Context Label Embedding (MCLE) approach to incorporate multiple label contexts, e.g., label hierarchy and attributes, within a unified matrix factorization framework. To be specific, we model each single context by a matrix factorization formula and introduce a shared variable to capture the dependency among different contexts. Furthermore, we enforce sparsity constraint on our multi-context framework to strengthen the interpretability of the learned label embedding. Extensive experiments on two real-world datasets demonstrate the superiority of our MCLE in label description and zero-shot image classification.

研究动机与目标

• 解决现有标签嵌入方法的局限性，即仅处理单一或独立的上下文，而未建模它们之间的依赖关系。
• 通过联合建模属性和层次关系等多种标签上下文，提升标签嵌入的可解释性和对齐性。
• 构建一个统一框架，以在嵌入空间中保留不同上下文间标签的语义相关性。
• 通过更语义化且稀疏的标签表示，提升零样本图像分类性能。

提出的方法

• 使用独立的矩阵分解组件对每种标签上下文（如属性和标签层次结构）进行建模。
• 引入一个共享潜在变量，以建模不同标签上下文之间的依赖关系，实现在嵌入空间中的跨上下文对齐。
• 对学习到的嵌入施加稀疏性约束，以增强可解释性并减少噪声。
• 采用交替优化策略，联合优化统一的目标函数，以学习所有组件。
• 采用低秩近似框架，高效表示标签嵌入，同时保留多上下文语义。
• 引入正则化项，确保共享变量能够捕捉上下文间的有意义关系。

实验结果

研究问题

• RQ1 联合建模多种标签上下文是否能提升零样本学习中标签嵌入的可解释性和对齐性？
• RQ2 将属性和层次结构等标签上下文之间的依赖关系纳入模型，对零样本分类性能有何影响？
• RQ3 对标签嵌入施加稀疏性约束在不损失性能的前提下，能在多大程度上提升其可解释性？
• RQ4 所提出的 MCLE 框架是否在真实世界数据集上优于现有的单上下文或独立上下文标签嵌入方法？

主要发现

• MCLE 通过有效整合多种标签上下文，在两个真实世界数据集上实现了零样本图像分类的最先进性能。
• 引入上下文间的共享依赖关系，显著提升了嵌入空间中语义相关标签的对齐性。
• 稀疏性约束通过突出显著特征，显著提升了学习到的标签嵌入的可解释性。
• 实验表明，MCLE 在标签描述和分类任务中均优于单上下文和非共享多上下文基线方法。