[论文解读] FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery

Krishna Kumar Singh, Utkarsh Ojha+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 60被引用 4

一句话总结

FineGAN 是一种无监督 GAN 框架，通过在潜在码上施加信息论约束，分层解耦背景、物体形状和外观，从而实现逼真的细粒度图像生成和无监督的细粒度物体类别发现。它在 CUB、Stanford Dogs 和 Stanford Cars 数据集上实现了最先进水平的聚类性能，NMI 和准确率均优于 JULE 和 DEPICT 等方法。

ABSTRACT

We propose FineGAN, a novel unsupervised GAN framework, which disentangles the background, object shape, and object appearance to hierarchically generate images of fine-grained object categories. To disentangle the factors without supervision, our key idea is to use information theory to associate each factor to a latent code, and to condition the relationships between the codes in a specific way to induce the desired hierarchy. Through extensive experiments, we show that FineGAN achieves the desired disentanglement to generate realistic and diverse images belonging to fine-grained classes of birds, dogs, and cars. Using FineGAN's automatically learned features, we also cluster real images as a first attempt at solving the novel problem of unsupervised fine-grained object category discovery. Our code/models/demo can be found at https://github.com/kkanshul/finegan

研究动机与目标

• 开发一种无监督生成模型，可在无需任何细粒度标注的情况下，分层解耦背景、物体形状和外观。
• 解决无监督细粒度物体类别发现的挑战，这是一个此前文献中尚未解决的新问题。
• 学习能够捕捉细粒度物体中结构（形状）和细节（外观）变化因素的解耦表征。
• 通过在潜在码上进行分层条件控制，生成多样且逼真的细粒度类别图像，如鸟类、狗和汽车。
• 证明通过无监督分层生成学习到的特征可用于将真实图像聚类为准确的细粒度类别。

提出的方法

• FineGAN 使用分层生成过程：首先生成背景图像，然后基于形状码生成父图像，最后基于父码和外观码生成子图像。
• 通过信息论正则化，强制父潜在码与父图像之间、以及条件于父码的子潜在码与子图像之间保持高互信息。
• 在父和子阶段均使用学习到的掩码进行条件控制，使潜在码聚焦于相关物体区域，并实现各阶段间的正确图像拼接。
• 通过将同一父码下的子码分组，引入分层约束，促使父码捕捉形状信息，子码捕捉外观变化。
• 模型采用 GAN 目标函数，结合对抗损失和互信息最大化，以确保表征的解耦性与生成图像的真实性。
• FineGAN 在两个阶段均自动生成分割掩码，引导生成器关注特定物体区域，从而提升解耦效果。

实验结果

研究问题

• RQ1 具有背景、形状和外观分层解耦能力的生成模型，是否能在无任何监督的情况下生成逼真且多样的细粒度图像？
• RQ2 此类模型学习到的解耦特征是否可用于无监督地将真实图像聚类为细粒度类别？
• RQ3 与平面解耦方法（如 InfoGAN）相比，分层解耦在捕捉细粒度物体变化方面表现如何？
• RQ4 所学习的父码和子码在多大程度上分别捕捉了形状和外观因素？它们在聚类任务中是否具有互补性？
• RQ5 当真实类别数量未知时，该模型是否仍能发现有意义的细粒度结构？

主要发现

• FineGAN 在无监督细粒度物体聚类任务中达到最先进性能，在 CUB 数据集上 NMI 为 0.403，准确率为 0.126，显著优于 JULE（NMI 0.204，准确率 0.045）和 DEPICT（NMI 0.290，准确率 0.061）。
• 在 Stanford Dogs 数据集上，FineGAN 的 NMI 为 0.233，准确率为 0.079，优于 JULE-ResNet-50（NMI 0.148，准确率 0.044）和 DEPICT-Large（NMI 0.183，准确率 0.054）。
• 在 Stanford Cars 数据集上，FineGAN 的 NMI 为 0.354，准确率为 0.078，优于所有基线模型，包括 DEPICT-Large（NMI 0.330，准确率 0.062）。
• 消融实验表明，仅使用子码特征时，鸟类分类准确率降至 0.017，证实父码与子码具有互补性，分别捕捉形状与外观的独立信息。
• FineGAN 有效实现了背景、形状与外观的解耦，定性结果表明：仅改变子码时，外观发生变化，而形状和背景保持不变。
• 相比之下，InfoGAN 无法将外观与背景解耦，表现为相同子码下背景存在一致变化，表明潜在码预测中存在背景偏差。