[论文解读] Deep Variational Transfer: Transfer Learning through Semi-supervised Deep Generative Models

Marouan Belhaj, Pavlos Protopapas+1 more|arXiv (Cornell University)|Dec 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 23被引用 4

一句话总结

本文提出深度变分迁移（DVT），一种半监督深度生成模型，通过将同一类别的监督样本对齐到共享的潜在高斯混合成分，实现在异质领域间的迁移学习，同时利用未标记的目标数据纠正协变量、先验和条件分布偏移。DVT在MNIST半监督学习任务上达到最先进性能，并在天文学数据集（如EROS、MACHO和HiTS）上显著提升F1分数——对罕见类别实现F1分数翻倍。

ABSTRACT

In real-world applications, it is often expensive and time-consuming to obtain labeled examples. In such cases, knowledge transfer from related domains, where labels are abundant, could greatly reduce the need for extensive labeling efforts. In this scenario, transfer learning comes in hand. In this paper, we propose Deep Variational Transfer (DVT), a variational autoencoder that transfers knowledge across domains using a shared latent Gaussian mixture model. Thanks to the combination of a semi-supervised ELBO and parameters sharing across domains, we are able to simultaneously: (i) align all supervised examples of the same class into the same latent Gaussian Mixture component, independently from their domain; (ii) predict the class of unsupervised examples from different domains and use them to better model the occurring shifts. We perform tests on MNIST and USPS digits datasets, showing DVT's ability to perform transfer learning across heterogeneous datasets. Additionally, we present DVT's top classification performances on the MNIST semi-supervised learning challenge. We further validate DVT on a astronomical datasets. DVT achieves states-of-the-art classification performances, transferring knowledge across real stars surveys datasets, EROS, MACHO and HiTS, . In the worst performance, we double the achieved F1-score for rare classes. These experiments show DVT's ability to tackle all major challenges posed by transfer learning: different covariate distributions, different and highly imbalanced class distributions and different feature spaces.

研究动机与目标

• 解决在真实场景中受限于少量标注数据时，存在协变量、先验和条件分布偏移的一般性数据集偏移下的迁移学习挑战。
• 克服现有无监督迁移学习方法在处理高维、异质数据（具有不同特征空间）及类别分布不平衡问题上的局限性。
• 通过在共享潜在空间中联合建模监督与无监督数据，实现在有标注源领域与无标注目标领域之间的有效知识迁移。
• 通过利用无标注目标数据优化潜在表示与分类器预测，提升类别分布不平衡数据集中罕见类别的分类性能。

提出的方法

• 提出一种变分自编码器框架，其中源域与目标域共享潜在高斯混合模型（GMM），每个类别被映射到唯一的GMM分量。
• 采用半监督证据下界（ELBO），结合重构损失、后验与先验之间的KL散度，以及分类器损失，联合训练有标注与无标注数据。
• 通过编码器与分类器网络中的共享参数，强制将来自不同领域但属于同一类别的监督样本对齐至相同的GMM分量。
• 利用针对特定领域训练的分类器 $ q_{ heta}(y|oldsymbol{z}) $，基于潜在表示 $ oldsymbol{z} $ 预测无标注目标数据的标签，并引导其嵌入向合适的GMM分量靠拢。
• 应用Gumbel-Softmax松弛与重参数化技巧，实现对离散潜在变量的可微训练，并通过分类器与潜在空间反向传播梯度。
• 对Gumbel-Softmax使用直通估计器，使梯度能通过分类器中的argmax操作反向传播，从而实现对完整模型的端到端优化。

实验结果

研究问题

• RQ1 半监督深度生成模型能否有效实现具有不同特征空间、协变量偏移与类别不平衡的异质领域之间的知识迁移？
• RQ2 共享潜在GMM结构在MNIST与USPS等异质数据集上，能否有效对齐同一类别的样本？
• RQ3 在存在数据集偏移的情况下，无标注目标数据在多大程度上能提升分类性能，特别是对罕见类别？
• RQ4 所提出方法是否在半监督学习基准与真实世界天文学数据集上优于现有最先进方法？
• RQ5 该模型能否泛化至具有显著领域偏移的复杂高维数据，例如多巡天天体分类任务？

主要发现

• DVT在MNIST半监督学习基准上达到最先进性能，展现出在标注数据有限条件下的强大泛化能力。
• 在天文学数据集（EROS、MACHO、HiTS）上，DVT显著提升分类性能，罕见类别的最差F1分数相比基线方法实现翻倍。
• 通过在共享潜在空间中联合建模有标注与无标注数据，模型有效处理了三类数据集偏移——协变量、先验与条件偏移。
• 通过将来自不同领域的同一类别监督样本对齐至相同的GMM分量，DVT减轻了领域偏移的影响，并提升了对未见目标领域的零样本泛化能力。
• 利用无标注目标数据引导潜在空间聚类，提升了模型在低数据量场景与类别不平衡设置下的鲁棒性与泛化能力。
• Gumbel-Softmax重参数化方法实现了对离散潜在变量的有效反向传播，使尽管分类器中存在不可微操作，仍能实现完整模型的端到端训练。