[论文解读] Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

Yash Upadhyay, Paul Schrater|arXiv (Cornell University)|Jun 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 24

一句话总结

本文提出了一种新型 GAN 架构，用胶囊网络判别器替代传统的 CNN 判别器，利用位置等变性更好地捕捉图像中的空间关系。胶囊 GAN 在更少的训练样本和训练轮次下实现了更快的收敛速度和更优的图像保真度，同时在生成图像的覆盖范围和多样性方面显著优于基于 CNN 的 GAN。

ABSTRACT

In this paper, we propose Generative Adversarial Network (GAN) architectures that use Capsule Networks for image-synthesis. Based on the principal of positional-equivariance of features, Capsule Network's ability to encode spatial relationships between the features of the image helps it become a more powerful critic in comparison to Convolutional Neural Networks (CNNs) used in current architectures for image synthesis. Our proposed GAN architectures learn the data manifold much faster and therefore, synthesize visually accurate images in significantly lesser number of training samples and training epochs in comparison to GANs and its variants that use CNNs. Apart from analyzing the quantitative results corresponding the images generated by different architectures, we also explore the reasons for the lower coverage and diversity explored by the GAN architectures that use CNN critics.

研究动机与目标

• 通过用胶囊网络替代 CNN 判别器，改进 GAN 中的图像合成，利用位置等变性更好地建模空间关系。
• 探究基于胶囊网络的更强判别器是否能加速生成器学习并提升样本质量。
• 分析基于 CNN 的判别器为何在生成图像流形中常无法实现完全覆盖和多样性。
• 探索通过分离辅助判别器架构在条件图像合成中使用胶囊网络的可行性。
• 评估胶囊 GAN 在不同数据集和训练设置下的泛化能力和鲁棒性。

提出的方法

• 将 WGAN 中的标准 CNN 判别器替换为胶囊网络判别器，以利用动态路由和空间关系建模能力。
• 采用带梯度惩罚的Wasserstein GAN（WGAN-GP）损失，以确保判别器的稳定训练和1-Lipschitz连续性。
• 采用分离-辅助判别器架构以支持条件图像生成，其中辅助分支处理类别标签，而主分支使用胶囊网络特征。
• 通过主成分分析（PCA）将胶囊表示投影到二维空间，以可视化特征覆盖范围和流形探索情况。
• 在胶囊层之间应用动态路由，使胶囊能够关注相关的父胶囊，从而编码空间层次结构和实例化参数。
• 使用来自胶囊网络判别器的梯度训练生成器，其提供的梯度比 CNN 提供的更具信息量且全局感知更强。

实验结果

研究问题

• RQ1 胶囊网络能否在 GAN 图像合成中作为比 CNN 更有效的判别器？
• RQ2 使用胶囊网络判别器是否能带来更快的收敛速度和更高的图像视觉保真度？
• RQ3 为何基于 CNN 的判别器常无法在生成图像流形中实现完全覆盖和多样性？
• RQ4 胶囊网络中的空间关系建模如何提升生成器探索数据流形的能力？
• RQ5 胶囊网络能否在 GAN 框架中有效适配用于条件图像合成？

主要发现

• 胶囊 GAN 在显著更少的训练轮次和样本数下实现了视觉上准确的图像合成，表现出更快的收敛速度。
• 胶囊 GAN 展现出对训练数据流形更大的覆盖范围，体现在胶囊空间投影中与 IWGAN 相比重叠区域更大。
• 使用胶囊网络判别器的生成器生成的图像多样性更高，表现为胶囊表示空间中沿次要主成分的分布更广。
• 基于 CNN 的判别器（IWGAN）未能捕捉胶囊网络揭示的关键特征，导致对流形理解有限且覆盖范围差。
• 胶囊 GAN 的优越性能归因于其通过动态路由建模空间关系的能力，从而为生成器提供更具信息量的梯度。
• 即使训练样本更少，胶囊 GAN 在视觉质量与流形覆盖方面仍优于基于 CNN 的基线模型，凸显其数据效率优势。