[论文解读] Generative Adversarial Image Synthesis with Decision Tree Latent Controller

Takuhiro Kaneko, Kaoru Hiramatsu+1 more|arXiv (Cornell University)|May 27, 2018

Generative Adversarial Networks and Image Synthesis被引用 3

一句话总结

该论文提出DTLC-GAN，一种通过决策树潜在控制器（DTLC）学习分层可解释表征的生成对抗网络，实现无需详细监督的粗到细图像生成。通过整合分层条件互信息正则化与课程学习策略，DTLC-GAN 在各层间解耦语义特征，在CIFAR-10上取得SOTA的 inception 分数（8.80），并实现改进的属性特定SSIM分数的高效图像检索。

ABSTRACT

This paper proposes the decision tree latent controller generative adversarial network (DTLC-GAN), an extension of a GAN that can learn hierarchically interpretable representations without relying on detailed supervision. To impose a hierarchical inclusion structure on latent variables, we incorporate a new architecture called the DTLC into the generator input. The DTLC has a multiple-layer tree structure in which the ON or OFF of the child node codes is controlled by the parent node codes. By using this architecture hierarchically, we can obtain the latent space in which the lower layer codes are selectively used depending on the higher layer ones. To make the latent codes capture salient semantic features of images in a hierarchically disentangled manner in the DTLC, we also propose a hierarchical conditional mutual information regularization and optimize it with a newly defined curriculum learning method that we propose as well. This makes it possible to discover hierarchically interpretable representations in a layer-by-layer manner on the basis of information gain by only using a single DTLC-GAN model. We evaluated the DTLC-GAN on various datasets, i.e., MNIST, CIFAR-10, Tiny ImageNet, 3D Faces, and CelebA, and confirmed that the DTLC-GAN can learn hierarchically interpretable representations with either unsupervised or weakly supervised settings. Furthermore, we applied the DTLC-GAN to image-retrieval tasks and showed its effectiveness in representation learning.

研究动机与目标

• 开发一种深度生成模型，无需详细标注或监督即可学习分层可解释表征。
• 通过决策树架构结构化潜在变量以实现粗到细的图像生成。
• 仅使用类别级或弱监督，发现多层之间、层内以及跨控制目标的解耦语义特征。
• 通过利用解耦的分层潜在空间，提升下游任务（如图像检索）的表征学习性能。

提出的方法

• 提出决策树潜在控制器（DTLC），一种多层树结构，其中子节点编码仅在其父节点为ON时被激活，从而在潜在空间中强制实现分层包含关系。
• 提出分层条件互信息（HCMI）正则化，通过在每一层最大化信息增益，以促进跨层语义特征的解耦。
• 设计一种课程学习方法，按层自顶向下逐步训练模型，从顶层开始逐层添加下层，以稳定训练并提升解耦效果。
• 使用带有梯度惩罚的WGAN-GP以保证训练稳定性，并采用inception分数和基于SSIM的检索指标评估性能。
• 使用辅助网络 $Q_l$ 预测潜在码 $\hat{\bm{c}}_l$，用于下游图像检索任务。
• 将模型应用于离散和连续潜在码，展示了在3D Faces和CelebA数据集上对类别的特定控制能力。

实验结果

研究问题

• RQ1 GAN能否在仅依赖类别标签而无需详细监督的情况下学习分层解耦表征？
• RQ2 基于决策树结构的潜在控制器能否强制实现分层包含关系并实现粗到细的图像生成？
• RQ3 分层条件互信息正则化是否能提升多层之间语义特征的解耦效果？
• RQ4 所提出的课程学习方法能否稳定训练并逐层有效发现可解释表征？
• RQ5 所学习的分层潜在空间是否能提升图像检索任务的性能？

主要发现

• DTLC-GAN 仅使用类别标签在CIFAR-10上取得8.80的inception分数，优于弱监督设置下的先前方法。
• 在CelebA数据集上，模型的属性特定SSIM分数从第一层的0.150提升至第三层眼镜属性的0.265和微笑属性的0.326，表明与语义属性的对齐性更好。
• 模型成功生成多样化且高保真度的图像，并实现可控的属性变化：例如，改变第二层编码影响整体属性（如眼镜类型），而低层编码则细化细节（如镜框厚度）。
• 在3D Faces中，DTLC-GAN使用连续码学习到与高层类别码条件相关的姿态特定语义特征，而平坦的InfoGAN中编码相互独立。
• 课程学习方法实现了稳定训练，并有效发现分层表征，随着深层的逐步加入，性能持续提升。
• 基于分层编码的图像检索结果表明，深层编码与查询属性的符合度更高，证实了解耦潜在空间的有效性。