[论文解读] Learning Hierarchical Features from Generative Models

Shengjia Zhao, Jiaming Song+1 more|arXiv (Cornell University)|Feb 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 36

一句话总结

本文提出变分梯度自编码器（VLAE），一种新颖的架构，通过结构化潜在空间以编码不同抽象层次的特征，在无监督生成建模中学习到高度解耦的分层特征。与堆叠的分层变分自编码器不同，后者无法有效利用深层特征，VLAE采用扁平的分层架构，明确将低层特征分配给较低层，高层抽象特征分配给上层，无需任务特定正则化，在MNIST、SVHN和CelebA数据集上实现了最先进水平的解耦性能。

ABSTRACT

Deep neural networks have been shown to be very successful at learning feature hierarchies in supervised learning tasks. Generative models, on the other hand, have benefited less from hierarchical models with multiple layers of latent variables. In this paper, we prove that hierarchical latent variable models do not take advantage of the hierarchical structure when trained with existing variational methods, and provide some limitations on the kind of features existing models can learn. Finally we propose an alternative architecture that do not suffer from these limitations. Our model is able to learn highly interpretable and disentangled hierarchical features on several natural image datasets with no task specific regularization or prior knowledge.

研究动机与目标

• 探究尽管具有架构深度，分层变分自编码器（HVAEs）为何无法学习到有意义的、解耦的特征层次。
• 识别在标准变分推断下训练的堆叠分层模型中，关于特征层次利用的根本性局限。
• 提出一种替代架构，通过结构设计而非堆叠，实现有效学习分层、解耦表征。
• 证明仅通过架构设计——无需任务特定正则化——即可在无监督图像生成中实现高度可解释且解耦的特征。

提出的方法

• 提出变分梯度自编码器（VLAE），一种单深度、多层潜在变量模型，其中每一层潜在码被设计为捕捉抽象程度递增的特征。
• 结构化潜在空间，使低层编码低层特征（如颜色、纹理），高层编码高层、抽象特征（如物体身份、姿态、上下文）。
• 使用基于重构的目标，鼓励模型充分利用所有潜在码层，确保深层特征对生成过程有实质性贡献。
• 采用分层推理网络，使高层潜在变量依赖于低层特征，实现结构化的分层表征学习。
• 应用扁平架构，同时引入多层潜在变量，避免因递归堆叠VAE导致的特征层次退化问题。
• 使用证据下界（ELBO）端到端训练模型，无需额外正则化或先验知识。

实验结果

研究问题

• RQ1 为何堆叠的分层变分自编码器尽管具有深度，仍无法学习到有意义的特征层次？
• RQ2 能否在不递归堆叠多个VAE的情况下学习到分层特征层次？
• RQ3 仅通过架构设计——无需显式正则化——是否足以在无监督生成模型中实现解耦且可解释的特征学习？
• RQ4 扁平的多层潜在结构在学习解耦表征方面，能在多大程度上超越传统的堆叠HVAEs？

主要发现

• 堆叠的分层VAE无法有效利用高层特征：即使在最佳训练条件下，仅靠底层即可重建数据分布。
• 堆叠HVAEs中常见的架构组件在促进解耦方面效果不佳，原因在于信息流受阻和特征层次利用不足。
• 所提出的VLAE在MNIST、SVHN和CelebA上无需任何任务特定正则化或先验知识，即可学习到高度解耦的特征。
• 在SVHN上，VLAE学习到一个四层层次结构，分别捕捉颜色、数字形状、上下文和整体结构，每层控制不同的、可解释的图像属性。
• 在CelebA上，底层控制环境颜色和光照，高层则控制身份、姿态、发色和面部表情，清晰展示了抽象层次的递进。
• VLAE通过架构设计和重构损失实现解耦，其性能优于InfoGAN在显式特征控制和分层抽象方面的表现。