[论文解读] Learning Graph Embeddings for Open World Compositional Zero-Shot Learning

Massimiliano Mancini, Muhammad Ferjad Naeem+2 more|arXiv (Cornell University)|May 3, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出组合余弦图嵌入（Co-CGE），一种图神经网络方法，通过使用可行性感知边权重的加权图，建模视觉基本单元（对象和状态）及其组合之间的依赖关系。通过将学习到的可行性分数作为余弦相似度损失中的边界值以及邻接权重，Co-CGE在标准和开放世界组合零样本学习中均达到最先进性能，在更具现实意义的开放世界设置下，面对大幅扩展的组合空间，显著优于先前方法。

ABSTRACT

Compositional Zero-Shot learning (CZSL) aims to recognize unseen compositions of state and object visual primitives seen during training. A problem with standard CZSL is the assumption of knowing which unseen compositions will be available at test time. In this work, we overcome this assumption operating on the open world setting, where no limit is imposed on the compositional space at test time, and the search space contains a large number of unseen compositions. To address this problem, we propose a new approach, Compositional Cosine Graph Embeddings (Co-CGE), based on two principles. First, Co-CGE models the dependency between states, objects and their compositions through a graph convolutional neural network. The graph propagates information from seen to unseen concepts, improving their representations. Second, since not all unseen compositions are equally feasible, and less feasible ones may damage the learned representations, Co-CGE estimates a feasibility score for each unseen composition, using the scores as margins in a cosine similarity-based loss and as weights in the adjacency matrix of the graphs. Experiments show that our approach achieves state-of-the-art performances in standard CZSL while outperforming previous methods in the open world scenario.

研究动机与目标

• 为解决标准组合零样本学习（CZSL）的局限性，即假设测试时组合是已知的封闭世界，提出一种更现实的开放世界设置，其中所有可能的组合均在输出空间中。
• 通过结构化图神经网络建模对象、状态及其组合之间的依赖关系，提升对未见组合的泛化能力。
• 通过估计其可行性并利用该信息指导表示学习，减轻不成立或干扰性组合（如“成熟的狗”）的负面影响。
• 通过基于余弦的损失结合可行性边界，统一视觉与语义嵌入空间，实现更好的对齐与区分能力。
• 证明所提方法在超越封闭世界假设的条件下仍能有效泛化，在搜索空间扩展至近28,000种组合时仍能取得优异性能。

提出的方法

• Co-CGE采用图卷积网络（GCN），连接表示对象、状态及其组合的节点，通过相关概念之间的消息传递提升表示学习效果。
• 基于组成基本单元的视觉与语义嵌入之间的余弦相似度，计算每个未见组合的可行性分数，反映该组合在语义和视觉上的合理性。
• 这些可行性分数被用作基于余弦的交叉熵损失中的边界值，促使模型在嵌入空间中将不成立的组合进一步推离正确组合。
• 相同的可行性分数也用于加权图的邻接矩阵，降低不成立或噪声组合在消息传递过程中的影响。
• 模型通过对比学习目标进行训练，将视觉特征与组合嵌入对齐，同时利用图结构实现全局一致性。
• 该方法支持封闭世界与开放世界推理，其中开放世界变体假设在测试时无法预先知晓将出现哪些组合。

实验结果

研究问题

• RQ1 基于图的模型能否有效学习组合嵌入，以泛化到所有可能的对象-状态组合，即使在测试时完全未知完整组合空间？
• RQ2 如何利用从视觉与语义嵌入中提取的可行性分数，提升组合零样本学习模型对不连贯或不合理的组合的鲁棒性？
• RQ3 将可行性分数同时用作损失边界和图权重，是否能带来优于单独使用其中任一方式的泛化性能？
• RQ4 所提出的Co-CGE模型在封闭世界与开放世界组合零样本学习基准上，相较于现有最先进方法表现如何？
• RQ5 所学习的组合嵌入在多大程度上能支持对已见与未见组合的可靠图像检索？

主要发现

• Co-CGE在标准组合零样本学习基准上达到最先进性能，显著优于先前方法（如CGE和CompCos），在C-GQA上取得0.78 AUC，在MIT-States上达到2.3%准确率。
• 在开放世界设置下，Co-CGE显著优于先前方法，在跨数据集未见组合上实现11.9%的调和平均准确率，超过次佳方法（11.8%）。
• 采用基于余弦分类的模型（Co-CGE）始终优于其非余弦版本（Co-CGE_ff），表明通过余弦相似度进行度量学习可增强泛化能力。
• Co-CGE在已见与未见组合准确率之间表现出显著权衡，MIT-States上实现16.0%已见准确率与11.9%未见准确率，调和平均为12.4%。
• 检索研究显示，CZSL准确率更高的模型并不总能产生更好的组合嵌入；Co-CGE与Co-CGE_CW在已见与未见检索性能之间达到最佳平衡。
• 可行性分数机制有效减轻了不连贯组合的负面影响，证据表明当可行性分数同时用于损失边界与图权重时，性能得到提升。