[论文解读] An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection

Rujikorn Charakorn, Yuttapong Thawornwattana+4 more|arXiv (Cornell University)|Jan 24, 2020

Visual Attention and Saliency Detection参考文献 75被引用 15

一句话总结

本文提出 SPLIT，一种基于 VAE 的框架，通过引入输入数据的辅助扰动版本，显式解耦局部与全局表征，使部分潜在变量仅建模局部特征。该方法在深度聚类和无监督目标检测等下游任务中表现更优，使模型能够忽略虚假的局部相关性，专注于全局语义。

ABSTRACT

Visual data can be understood at different levels of granularity, where global features correspond to semantic-level information and local features correspond to texture patterns. In this work, we propose a framework, called SPLIT, which allows us to disentangle local and global information into two separate sets of latent variables within the variational autoencoder (VAE) framework. Our framework adds generative assumption to the VAE by requiring a subset of the latent variables to generate an auxiliary set of observable data. This additional generative assumption primes the latent variables to local information and encourages the other latent variables to represent global information. We examine three different flavours of VAEs with different generative assumptions. We show that the framework can effectively disentangle local and global information within these models leads to improved representation, with better clustering and unsupervised object detection benchmarks. Finally, we establish connections between SPLIT and recent research in cognitive neuroscience regarding the disentanglement in human visual perception. The code for our experiments is at https://github.com/51616/split-vae .

研究动机与目标

• 解决深度学习中表征纠缠的问题，即模型从纹理或光照等局部特征中学习到虚假相关性。
• 在变分自编码器框架内显式解耦全局（语义）与局部（纹理/模式）表征。
• 通过使模型聚焦于全局、不变特征，提升无监督聚类与目标检测等下游任务的性能。
• 提供一种通用、与架构无关的方法，可适用于多种 VAE 变体而无需大规模架构修改。
• 建立所提解耦机制与人类视觉感知认知神经科学原理（如选择性注意与不变性）之间的联系。

提出的方法

• 引入辅助数据变换：对输入图像应用随机扰动操作，生成新的可观测数据模态 $\hat{x}$，其仅保留局部信息。
• 训练一个独立的 VAE 分支以重建 $\hat{x}$，强制其潜在变量仅建模局部变化。
• 使用相同的全局编码器为原始数据 $x$ 和扰动数据 $\hat{x}$ 生成共享的全局表征，确保全局特征一致。
• 通过将 $\hat{x}$ 的生成条件依赖于部分潜在变量，施加解耦偏差，促使这些变量捕捉局部模式。
• 将 SPLIT 框架集成至三种 VAE 变体中：普通 VAE、GMVAE 和 SPAIR，以评估其在不同架构下的有效性。
• 优化联合目标函数，包含 $x$ 和 $\hat{x}$ 的重建损失，以及约束潜在空间先验假设的 KL 散度项。

实验结果

研究问题

• RQ1 显式解耦局部与全局表征是否能提升深度生成模型的表征质量？
• RQ2 SPLIT 框架是否通过使模型聚焦于全局语义，从而提升无监督聚类任务的性能？
• RQ3 解耦局部与全局特征是否能提升无监督目标检测的学习速度与准确性？
• RQ4 在架构灵活性与性能方面，SPLIT 框架与现有归纳偏置方法相比如何？
• RQ5 SPLIT 框架在多大程度上符合人类视觉感知原理，特别是选择性注意与不变性？

主要发现

• SPLIT-VAE 成功实现局部与全局特征的解耦，经由生成样本的视觉检查与风格迁移的定性分析得以验证。
• SPLIT-GMVAE 在 SVHN 数据集上的聚类性能优于标准 GMVAE，聚类结果对应于数字身份及其他全局属性。
• SPLIT-GMVAE 对 CelebA 数据的聚类结果呈现出基于性别与面部朝向的有意义分组，表明其全局表征学习有效。
• 在基于 SPAIR 的无监督目标检测任务中，SPLIT 显著提升了目标计数准确率并加速了学习过程，促使模型关注全局物体属性。
• SPLIT 框架具有通用性，可适用于多种 VAE 架构而无需重大架构修改，展现出广泛的兼容性。
• 该方法提升了对局部干扰（如纹理与光照变化）的鲁棒性，从而生成更具泛化性与可解释性的表征。