[论文解读] Hierarchical Adversarially Learned Inference

Mohamed Ishmael Belghazi, Sai Rajeswar+4 more|arXiv (Cornell University)|Feb 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 20

一句话总结

本文提出层级对抗学习推理（HALI），一种深度生成模型，通过在ALI框架中引入层级化马尔可夫潜在结构，学习逐步更抽象的表征。通过对抗性地联合训练生成器与推理网络，HALI在半监督MNIST分类任务中达到最先进性能，并在CelebA数据集的无监督属性预测任务中超越手工设计特征，表明仅通过对抗性训练即可有效最小化重建误差，同时实现语义上有意义的多层级重建。

ABSTRACT

We propose a novel hierarchical generative model with a simple Markovian structure and a corresponding inference model. Both the generative and inference model are trained using the adversarial learning paradigm. We demonstrate that the hierarchical structure supports the learning of progressively more abstract representations as well as providing semantically meaningful reconstructions with different levels of fidelity. Furthermore, we show that minimizing the Jensen-Shanon divergence between the generative and inference network is enough to minimize the reconstruction error. The resulting semantically meaningful hierarchical latent structure discovery is exemplified on the CelebA dataset. There, we show that the features learned by our model in an unsupervised way outperform the best handcrafted features. Furthermore, the extracted features remain competitive when compared to several recent deep supervised approaches on an attribute prediction task on CelebA. Finally, we leverage the model's inference network to achieve state-of-the-art performance on a semi-supervised variant of the MNIST digit classification task.

研究动机与目标

• 开发一种层级生成模型，仅在对抗性框架下学习逐步更抽象的表征。
• 探究仅通过对抗性训练是否足以在无显式重建损失的情况下最小化重建误差。
• 评估推理网络在下游属性预测与半监督分类任务中所学习的无监督表征质量。
• 证明层级结构能够实现多保真度重建，并提升语义特征的解耦性。

提出的方法

• 提出一种层级化、马尔可夫潜在结构，其中数据 x → z → y，z 表示中间表征，y 为类别标签。
• 通过判别器区分真实数据与生成样本，联合进行生成器（解码器）与推理网络（编码器）的对抗性训练。
• 采用条件生成器将潜在变量 z 映射至数据空间，同时使用带各向同性高斯噪声的随机编码器将 x 映射至 z。
• 在顶层潜在变量 y 上引入监督损失项，以支持半监督学习，使用预测类别概率的交叉熵损失。
• 利用对抗性训练隐式最小化重建误差，理论依据基于Jensen-Shannon散度最小化。
• 利用推理网络提取的特征进行线性SVM分类，应用于CelebA数据集与半监督MNIST任务，表征学习阶段无需任何标签微调。

实验结果

研究问题

• RQ1 在层级模型中，仅通过纯对抗性训练范式是否可在无显式重建损失的情况下实现有效重建？
• RQ2 层级结构是否能促进学习到逐步更抽象且语义上有意义的表征？
• RQ3 从推理网络中提取的无监督特征是否可在属性预测任务中超越手工设计特征与深度监督特征？
• RQ4 层级推理网络是否可在极少标注数据下实现半监督学习的最先进性能？

主要发现

• 在使用100个标注样本的半监督MNIST任务中，HALI的测试误差为73，优于先前最先进方法如GSSLTRABG（79.5 ± 9.8）与特征匹配GAN（93 ± 6.5）。
• 在CelebA属性预测任务中，HALI实现83.75%的平均平衡准确率，超越VAE（73.30%）与ALI（73.88%），并优于最佳手工特征（PANDA: 76.95%）。
• HALI在40项属性中有15项达到最佳性能，而最佳监督基线（LMLE-kNN）为22项，表明其具备强大的泛化能力与特征解耦性。
• 该模型在不同保真度层级上生成语义上有意义的重建结果，且随着层级深度增加，感知质量逐步提升。
• 理论分析表明，在无显式重建损失时，最小化真实分布与生成分布之间的Jensen-Shannon散度，足以最小化重建误差。
• 尽管未使用任何标签进行训练，HALI编码器提取的无监督特征仍能与深度监督模型相媲美。