[论文解读] Learning Deep Disentangled Embeddings with the F-Statistic Loss

Karl Ridgeway, Michael C. Mozer|arXiv (Cornell University)|Feb 14, 2018

Face and Expression Recognition被引用 43

一句话总结

引入基于 F 统计量的损失函数，用于深度嵌入，促进在子维度上的类别分离以支持小样本学习，同时鼓励解耦。

ABSTRACT

Deep-embedding methods aim to discover representations of a domain that make explicit the domain's class structure and thereby support few-shot learning. Disentangling methods aim to make explicit compositional or factorial structure. We combine these two active but independent lines of research and propose a new paradigm suitable for both goals. We propose and evaluate a novel loss function based on the $F$ statistic, which describes the separation of two or more distributions. By ensuring that distinct classes are well separated on a subset of embedding dimensions, we obtain embeddings that are useful for few-shot learning. By not requiring separation on all dimensions, we encourage the discovery of disentangled representations. Our embedding method matches or beats state-of-the-art, as evaluated by performance on recall@$k$ and few-shot learning tasks. Our method also obtains performance superior to a variety of alternatives on disentangling, as evaluated by two key properties of a disentangled representation: modularity and explicitness. The goal of our work is to obtain more interpretable, manipulable, and generalizable deep representations of concepts and categories.

研究动机与目标

• 寻求一个能够通过在嵌入维度上分离类别来支持小样本学习的表示。
• 通过不要求所有维度对所有类别都分离来促进解耦表示。
• 以概率、逐维度分离准则桥接深度嵌入与解耦文献。

提出的方法

• 在嵌入维度中定义一个基于 F-统计量的类均值与组内方差之间的分离度量。
• 通过为每对类别对选择分离最强的前 d 个维度，将其扩展到多维嵌入。
• 提出一个损失，最小化在所选维度上分离的负对数概率。
• 使用对类别感知（有身份分类）或无名因子神经元的 oracle 来训练嵌入，以进行身份分类或解耦因子。
• 使用 ADAM 进行训练，并在 recall@1 和小样本任务上进行评估，与直方图、三元组、二项偏差和 LSSS 损失进行比较。

实验结果

研究问题

• RQ1 F-统计量损失是否能够在 recall@1/小样本任务上与最先进的损失函数相比拟？
• RQ2 在嵌入维度的一个子集上强制分离是否会产生更解耦的表示？
• RQ3 F-统计量损失如何权衡学习因子的模块化、紧凑性和显式性？
• RQ4 在监督（有类别感知）和弱监督（无名因子）设置下，该方法的鲁棒性如何？

主要发现

• F-统计量损失在 recall@1 上与 CUHK03、Market-1501 和 CUB-200-2011 数据集的最新方法相匹配或超越。
• 在解耦度量方面，F-统计量损失在模块化和显式性方面表现优越，特别是在小型 NORB 数据集上。
• 在无名因子和有类别感知监督下，该方法显示出强健的模块化和显式性，在大多数设置中优于 β-VAE 基线。
• 增加分离维度数 d 会提高鲁棒性，在较广的 d 范围内性能对 d 的敏感性相对较低。