[论文解读] Disentangling Nonlinear Perceptual Embeddings With Multi-Query Triplet Networks.

Andreas Veit, Serge Belongie+1 more|arXiv (Cornell University)|Mar 25, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用 6

一句话总结

本文提出多查询网络（MQNs），一种新颖的基于三元组的深度学习框架，通过因子化三元组嵌入和潜在空间注意力机制，同时建模多个视觉概念，实现非线性感知嵌入的解耦。该方法在共享嵌入空间内学习语义上独立的子空间，在感知表示学习方面优于标准三元组网络和特定概念的网络。

ABSTRACT

In typical perceptual tasks, higher-order concepts are inferred from visual features to assist with perceptual decision making. However, there is a multitude of visual concepts which can be inferred from a single stimulus. When learning nonlinear embeddings with siamese or triplet networks from similarities, we typically assume they are sourced from a single visual concept. In this paper, we are concerned with the hypothesis that it can be potentially harmful to ignore the heterogeneity of concepts affiliated with observed similarities when learning these embedding networks. We demonstrate empirically that this hypothesis holds and suggest an approach that deals with these shortcomings, by combining multiple notions of similarities in one compact system. We propose Multi-Query Networks (MQNs) that leverage recent advances in representation learning on factorized triplet embeddings in combination with Convolutional Networks in order to learn embeddings differentiated into semantically distinct subspaces, which are learned with a latent space attention mechanism. We show that the resulting model learns visually relevant semantic subspaces with features that do not only outperform single triplet networks, but even sets of concept specific networks.

研究动机与目标

• 为解决标准三元组网络在学习嵌入时假设单一潜在视觉概念的局限性。
• 探究在相似性信号中忽略视觉概念异质性是否会导致表示质量下降。
• 开发一种统一框架，在单一紧凑网络架构中同时建模多个视觉概念。
• 通过注意力机制对因子化三元组嵌入进行操作，在嵌入空间中学习语义解耦的子空间。

提出的方法

• 该模型采用多查询架构，每个查询对应一个不同的视觉概念，使网络能够关注输入刺激的不同方面。
• 使用因子化三元组嵌入将嵌入空间分解为语义上有意义的子空间，每个子空间专门针对特定概念。
• 潜在空间注意力机制根据输入上下文动态加权不同子空间的贡献，提升表示的特异性。
• 使用组合三元组损失端到端训练网络，以鼓励概念内相似性和概念间解耦。
• 采用卷积神经网络作为主干网络进行特征提取，提供分层视觉表示。
• 该架构允许在单一紧凑模型中联合优化多个概念特定的子空间，避免为每个概念单独训练网络。

实验结果

研究问题

• RQ1 在相似性信号中忽略视觉概念的异质性是否会导致学习到的非线性嵌入质量下降？
• RQ2 通过同时建模多个概念，单一深度网络能否有效学习多个语义上不同的子空间？
• RQ3 多概念学习框架的性能与单概念三元组网络相比如何？
• RQ4 对因子化子空间的注意力机制在多大程度上能提升解耦性和表示质量？
• RQ5 统一的多查询网络能否在感知嵌入任务中超越一组概念特定网络的集成模型？

主要发现

• 所提出的多查询网络在感知嵌入任务中表现优于标准三元组网络，展现出更优的泛化能力和解耦性。
• 该模型学习到的视觉相关语义子空间与不同视觉概念相对应，经定性分析验证。
• 注意力机制有效调节不同子空间的贡献，实现上下文感知的表示选择。
• 该方法优于单个三元组网络和概念特定网络的集成模型，表明联合学习与解耦比孤立学习更有效。
• 实证结果证实，在嵌入学习过程中忽略概念异质性会导致次优表示，验证了本文的核心假设。