[论文解读] A causal view of compositional zero-shot recognition

Yuval Atzmon, Felix Kreuk+2 more|arXiv (Cornell University)|Jun 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用 59

一句话总结

本文将组成零-shot 识别框架为因果干预，并提出一个受因果启发的嵌入模型，该模型学习解耦的属性和对象表示，在 AO-CLEVr 和 Zappos 数据集上提升对未见组成的泛化。

ABSTRACT

People easily recognize new visual categories that are new combinations of known components. This compositional generalization capacity is critical for learning in real-world domains like vision and language because the long tail of new combinations dominates the distribution. Unfortunately, learning systems struggle with compositional generalization because they often build on features that are correlated with class labels even if they are not "essential" for the class. This leads to consistent misclassification of samples from a new distribution, like new combinations of known components. Here we describe an approach for compositional generalization that builds on causal ideas. First, we describe compositional zero-shot learning from a causal perspective, and propose to view zero-shot inference as finding "which intervention caused the image?". Second, we present a causal-inspired embedding model that learns disentangled representations of elementary components of visual objects from correlated (confounded) training data. We evaluate this approach on two datasets for predicting new combinations of attribute-object pairs: A well-controlled synthesized images dataset and a real-world dataset which consists of fine-grained types of shoes. We show improvements compared to strong baselines.

研究动机与目标

• 激发组合泛化，并指出分布漂移和纠缠是零-shot 识别中的关键挑战。
• 提出一个因果生成模型，其中标签是图像的原因，对（属性、对象）的干预揭示未见组合。
• 开发一种基于嵌入的架构，学习属性和对象的解耦、因果稳定表示。
• 引入损失项，强制核心因素的独立性和嵌入的可逆性。
• 在 AO-CLEVr 和 Zappos 上评估该方法，相对于强基线显示出改进的性能。

提出的方法

• 将图像建模为由两个基本因素生成：属性 a 和对象 o，潜在核心特征 φa 和 φo 位于独立的空间 ΦA 和 ΦO。
• 使用 do-干预框架定义 pdo(x) = p(x|a,o) 以评估是哪个干预导致了图像。
• 学习映射 ha、ho 和 g，将属性/对象编码为核心特征并映射回图像空间，从而实现似然估计 p(x|a,o)。
• 用一个可处理的表达式 l−L(a,o) 近似负对数似然，其中包含到属性原型 ha 和对象原型 ho 的距离以及通过 g(ha,ho) 实现的图像重建误差。
• 引入三类损失：数据似然损失（重建和三元组项）、通过 HSIC 的独立性损失以在干预下促进 φa 与 φo 条件独立，以及可逆嵌入损失以在嵌入中保留标签信息。
• 使用 MLP 训练五个学习映射：ha、ho、ga，以及它们的逆映射及其逆映射，使用 MLP。

实验结果

研究问题

• RQ1 在（属性、对象）上的干预的因果视角能否实现对零-shot 组成识别的鲁棒性？
• RQ2 解耦的核心特征表示 φa 和 φo 是否能够对未见的属性–对象组合实现稳定泛化？
• RQ3 强制 φa 与 φo 独立性如何影响对新组合的识别？
• RQ4 与判别基线和先前 CZSR 方法在真实与合成数据集上的比较？

主要发现

• 因果方法在 AO-CLEVr 上相比基线获得更高的未见准确率；例如，普通基线（LE）的未见准确率为 26%，而因果方法达到约 47% 。
• 加入判别变体（VisProd&CI）使未见准确率从 19% 提升到 38%，相对于 VisProd，在可见准确率上存在权衡。
• 在 AO-CLEVr 交叉验证中，对核心特征建模在可见与未见准确率之间取得更好的权衡，提升无见比例下的调和平均值。
• 评估使用 AO-CLEVr（合成）和 Zappos（真实鞋类），在开放和闭合（泛化）零-shot 设置下，显示出因果模型的稳健性能提升。
• 该方法包含通过 HSIC 量化的独立性约束，鼓励 φa 和 φo 对干预具有鲁棒性，有助于解耦和泛化。