[论文解读] Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders

Qian Wang, Toby P. Breckon|arXiv (Cornell University)|Aug 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 5

一句话总结

本文提出了一种新颖的广义零样本域自适应（GZSDA）框架，采用耦合条件变分自编码器（CCVAE）从源域样本中生成未见类别的合成目标域特征。通过在共享潜在空间中联合建模领域和类别信息，CCVAE 能够在未见类别上实现更优的分类性能，相较于基线方法在数据稀缺场景下表现更佳。

ABSTRACT

Domain adaptation approaches aim to exploit useful information from the source domain where supervised learning examples are easier to obtain to address a learning problem in the target domain where there is no or limited availability of such examples. In classification problems, domain adaptation has been studied under varying supervised, unsupervised and semi-supervised conditions. However, a common situation when the labelled samples are available for a subset of target domain classes has been overlooked. In this paper, we formulate this particular domain adaptation problem within a generalized zero-shot learning framework by treating the labelled source domain samples as semantic representations for zero-shot learning. For this particular problem, neither conventional domain adaptation approaches nor zero-shot learning algorithms directly apply. To address this generalized zero-shot domain adaptation problem, we present a novel Coupled Conditional Variational Autoencoder (CCVAE) which can generate synthetic target domain features for unseen classes from their source domain counterparts. Extensive experiments have been conducted on three domain adaptation datasets including a bespoke X-ray security checkpoint dataset to simulate a real-world application in aviation security. The results demonstrate the effectiveness of our proposed approach both against established benchmarks and in terms of real-world applicability.

研究动机与目标

• 填补现有域自适应与零样本学习方法的空白，这些方法在仅部分目标类别具有标注数据时表现不佳。
• 提出一种新的广义零样本域自适应（GZSDA）问题，要求在目标域中同时识别已见和未见类别。
• 通过为未见类别生成合成目标域特征，缓解数据不平衡问题并防止对已见类别的过拟合。
• 开发一种统一且可扩展的方法，在特征生成过程中保留类别与领域信息，以提升泛化能力。

提出的方法

• 提出一种耦合条件变分自编码器（CCVAE），在共享潜在空间中学习领域与类别条件的联合特征表示。
• 利用源域样本作为语义先验，为未见类别生成目标域特征，支持使用单一分类器进行端到端训练。
• 将 VAE 同时基于领域（源/目标）和类别标签进行条件化，以确保在跨域生成过程中保留类别信息。
• 在来自两个领域的真实与合成特征上联合训练统一分类器，提升对未见类别的泛化能力。
• 在特征空间而非像素空间中操作，以降低生成复杂度并聚焦于分类性能。
• 实现双向生成机制：从源域生成目标域特征，反之亦然，从而增强数据增强效果与领域对齐能力。

实验结果

研究问题

• RQ1 当仅部分目标类别有标注时，生成模型能否有效缓解源域与目标域之间的领域偏移？
• RQ2 在跨域特征生成过程中，如何保持类别信息以支持对未见类别的识别？
• RQ3 在共享潜在空间中联合建模领域与类别信息，是否能提升在数据稀缺目标域中的泛化能力？
• RQ4 从源域样本生成合成数据，能否在航空安全筛查等现实应用中提升零样本泛化性能？

主要发现

• CCVAE 在三个基准数据集上达到最先进性能，包括一个自建的 X 射线安全检测数据集，优于现有方法如 CADA-VAE 和 LPP。
• 在 X 射线安全检测数据集（BaggageXray）的 'Neg→Color' 场景中，CCVAE 达到 70.6% 的准确率，显著优于次佳方法（LPP 为 69.2%）和基线方法。
• 在 'Color→Neg' 场景中，CCVAE 达到 63.2% 的准确率，超过 LPP（45.2%）和 CADA-VAE（34.5%），展现出对领域偏移的强鲁棒性。
• 在 CUB-200-2011 和 CUB-200-2011-100 数据集上，CCVAE 在未见类别上的 top-1 准确率分别达到 90.2% 和 92.0%，表现出强大的泛化能力。
• 消融实验表明，同时对领域和类别进行条件化至关重要，移除任一条件均导致性能显著下降。
• 所提出的 BaggageXray 数据集为未来 GZSDA 研究提供了真实且具有挑战性的基准，尤其适用于航空安全应用。