[论文解读] Bias and Generalization in Deep Generative Models: An Empirical Study

Shengjia Zhao, Hongyu Ren+4 more|arXiv (Cornell University)|Nov 8, 2018

Generative Adversarial Networks and Image Synthesis被引用 53

一句话总结

本文提出一个受认知心理学启发的框架，通过探测低维特征并检查GANs和VAEs在单特征与多特征泛化模式上的表现，来实证研究深度生成模型中的偏见和泛化。

ABSTRACT

In high dimensional settings, density estimation algorithms rely crucially on their inductive bias. Despite recent empirical success, the inductive bias of deep generative models is not well understood. In this paper we propose a framework to systematically investigate bias and generalization in deep generative models of images. Inspired by experimental methods from cognitive psychology, we probe each learning algorithm with carefully designed training datasets to characterize when and how existing models generate novel attributes and their combinations. We identify similarities to human psychology and verify that these patterns are consistent across commonly used models and architectures.

研究动机与目标

• 在高维图像空间中表征深度生成模型的归纳偏见与泛化行为。
• 开发受认知心理学启发的框架，通过低维、可解释的特征来探测模型。
• 评估在架构（GANs和VAEs）、数据集（如 CLEVR、MNIST）和超参数下观察到的泛化模式的一致性。

提出的方法

• 将高维图像空间投影到可解释的低维特征空间（如 numerosity、color、size、location）。
• 在受控数据集上训练 GANs 和 VAEs，并测量所诱导的特征分布 p(z) 相对于学习的分布 q(z)。
• 使用单一特征探测来研究冲动响应与卷积型泛化模式。
• 通过对 z 的支持进行精确度-召回来考察多特征泛化并评估记忆与新组合生成的关系。
• 通过改变其他特征并观察 z 泛化的稳定性，评估特征之间的独立性。
• 可视化并比较跨模型类型和架构的泛化行为。

实验结果

研究问题

• RQ1 当在单个特征的数值为常数的数据上训练时，深度生成模型的泛化表现如何？
• RQ2 多模态训练数据如何影响模型记忆与生成新特征组合的倾向？
• RQ3 单特征泛化模式（如卷积、原型增强）是否跨 GANs 和 VAEs 以及跨数据集保持？
• RQ4 特征是否独立，以至于一个特征的分析可以与其他特征分开考虑？
• RQ5 在跨多特征生成新组合时，模型如何在保持边际分布的同时生成新组合？

主要发现

• 生成模型不会精确再现训练时的特征值；它们显示出偏置分布，通常围绕训练值，并伴随高/低超调。
• 当训练数据对一个特征存在多模态时，模型行为类似线性滤波（对冲击响应的卷积），仅当模态接近时，会出现原型增强。
• 对于颜色比例，学习到的分布大致是以训练值为中心的高斯分布，极端比例的方差更尖锐，与韦伯定律一致。
• 当特征数量增加时，模型会记住小型训练集，但在组合数量增加时会生成新组合，同时保持单一特征的边际分布。
• 回忆度较高（所有训练组合都出现在 q(z) 中），但当组合数量增多时，精确度下降，表明生成了新颖组合。
• 特征之间的独立性被观察到；改变其他特征不会显著改变给定特征的学习分布，尽管更高方差可能促使模态合并。