[论文解读] Generative Class-conditional Autoencoders

Jan Rudy, Graham W. Taylor|arXiv (Cornell University)|Dec 22, 2014

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 6

一句话总结

本文提出了一种基于门控自编码器的类别条件生成去噪自编码器，通过在类别标签上进行条件生成，以建模复杂且多模态的数据分布。通过将Bengio等人提出的马尔可夫链采样过程扩展至门控架构，该模型学习到一个条件转移算子，从而在MNIST和TFD数据集上实现高保真度、模式混合的样本生成，其在捕捉数据多样性方面优于单模态去噪自编码器。

ABSTRACT

Recent work by Bengio et al. (2013) proposes a sampling procedure for denoising autoencoders which involves learning the transition operator of a Markov chain. The transition operator is typically unimodal, which limits its capacity to model complex data. In order to perform efficient sampling from conditional distributions, we extend this work, both theoretically and algorithmically, to gated autoencoders (Memisevic, 2013), The proposed model is able to generate convincing class-conditional samples when trained on both the MNIST and TFD datasets.

研究动机与目标

• 为解决去噪自编码器中单模态转移算子的局限性，该局限性限制了模型对复杂数据分布的建模能力。
• 利用类别标签对生成过程进行条件化，以实现对数据结构和模式多样性的更丰富建模。
• 将Bengio等人（2013年）的马尔可夫链采样框架扩展至门控自编码器，以实现条件生成。
• 在二值化MNIST和实值TFD人脸数据集上，展示有效的类别条件样本生成。
• 通过权重门控推理与训练，实现从复杂、多模态条件分布中高效采样。

提出的方法

• 提出一种类别条件门控自编码器（GAE），其中解码器权重由类别特定的门控因子调制，从而实现条件化生成。
• 采用Bengio等人（2013年）提出的walkback训练程序，对从训练数据初始化的马尔可夫链的5个步骤的重构损失进行平均。
• 在训练过程中使用盐胡椒噪声（50%的损坏概率），以强制学习鲁棒特征并防止平凡的身份学习。
• 采用Nesterov加速梯度下降法，结合学习率衰减与动量，以实现稳定优化。
• 对二值化MNIST使用Sigmoid激活输出，损失函数为交叉熵；对实值TFD使用实值输出，损失函数为均方误差。
• 通过从零向量开始的迭代马尔可夫链步骤进行采样，每一步应用噪声和重构，逐步生成样本。

实验结果

研究问题

• RQ1 门控自编码器是否能提升去噪自编码器对复杂、多模态数据分布的建模能力？
• RQ2 将生成过程基于类别标签进行条件化，是否能相比标准去噪自编码器，实现更好的模式覆盖与样本多样性？
• RQ3 Bengio等人（2013年）的马尔可夫链采样程序能否成功扩展至门控、类别条件模型？
• RQ4 所提出的模型在二值化和实值图像数据集上生成真实感强、类别特异的样本的效率如何？
• RQ5 在类别间共享权重在多大程度上提升了泛化能力，同时保持了类别特异的生成能力？

主要发现

• 模型在马尔可夫链仅几步后即可生成高度逼真且多样的样本，从噪声到真实数字的演化过程清晰可见。
• 在二值化MNIST上，模型成功生成了数字'2'的环形与尖端形态变体，展示了模式混合与多模态捕获能力。
• TFD模型在全部7个类别上均生成了合理的面部表情，尽管多样性低于MNIST，可能由于训练集规模较小。
• 生成样本中极少出现无关内容，大多数图像对每个类别均具有可识别性与语义意义。
• 训练过程中采用5步walkback显著提升了重构质量与样本保真度，优于单步训练。
• 门控架构实现了类别间的有效权重共享，同时保持了强大的类别特异生成能力，表明对条件分布的高效参数化。