[论文解读] Learning Disentangled Representations via Mutual Information Estimation

Eduardo Hugo Sanchez, Mathieu Serrurier+1 more|arXiv (Cornell University)|Dec 9, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 11

一句话总结

本论文提出一种两阶段互信息估计方法，无需重建或生成，即可从成对图像中学习解耦表示。通过最大化共享特征的交叉互信息，并对抗性地最小化共享-独占互信息，该模型在合成与真实数据集（包括Sentinel-2卫星影像）的图像分类与检索任务中，实现了最先进的解耦性能，优于VAE/GAN基线模型。

ABSTRACT

In this paper, we investigate the problem of learning disentangled representations. Given a pair of images sharing some attributes, we aim to create a low-dimensional representation which is split into two parts: a shared representation that captures the common information between the images and an exclusive representation that contains the specific information of each image. To address this issue, we propose a model based on mutual information estimation without relying on image reconstruction or image generation. Mutual information maximization is performed to capture the attributes of data in the shared and exclusive representations while we minimize the mutual information between the shared and exclusive representation to enforce representation disentanglement. We show that these representations are useful to perform downstream tasks such as image classification and image retrieval based on the shared or exclusive component. Moreover, classification results show that our model outperforms the state-of-the-art model based on VAE/GAN approaches in representation disentanglement.

研究动机与目标

• 从成对图像中学习解耦表示，且不依赖图像重建或生成建模。
• 将共享属性（图像对之间共有的特征）与独占属性（每个图像独有的特征）分离。
• 通过解耦组件提升图像分类与检索等下游任务的性能。
• 开发一种计算效率更高的替代方案，以替代VAE和GAN等基于重建或生成的模型。
• 在标签有限的真实世界数据（如卫星影像）中验证方法的有效性。

提出的方法

• 采用两阶段训练流程：首先通过成对图像之间的交叉互信息最大化，学习共享表示。
• 其次，通过最大化与单个图像的互信息，同时最小化与共享表示的互信息，学习独占表示。
• 引入对抗性目标，最小化共享表示与独占表示之间的互信息，以强化解耦性。
• 使用局部与全局统计网络估计互信息，实现有效优化。
• 采用切换共享表示（SSR）机制，防止共享特征捕获独占信息。
• 采用结合全局与局部互信息项的损失函数，用于共享与独占表示的学习。

实验结果

研究问题

• RQ1 仅通过互信息估计是否足以学习解耦表示，而无需图像重建或生成？
• RQ2 交叉互信息最大化在捕捉成对图像间共享属性方面有多有效？
• RQ3 对抗性最小化共享-独占互信息是否能提升表示的解耦性？
• RQ4 所提方法是否能在解耦性能上超越基于VAE/GAN的SOTA模型？
• RQ5 在标签稀疏、未标注数据丰富的场景（如卫星图像分析）中，该模型是否有效？

主要发现

• 使用Sentinel-2数据的共享表示在EuroSAT图像分类任务中达到93.11%准确率，优于VAE（87.64%）和VAE-GAN（92.38%）基线模型。
• 消融研究证实，切换共享表示（SSR）对于防止独占信息泄露至共享特征中至关重要。
• 当β^sh = 0（即局部互信息项被移除）时，共享属性分类准确率显著下降，表明其重要性。
• 敏感性分析显示，λ_adv = 0.025时获得最优解耦性能，更高值会降低独占属性分类表现。
• 交叉互信息目标使基于互信息的像素级距离度量成为可能，显示出在无监督分割与目标检测中的潜力。
• 在彩色-MNIST、3D Shapes、IAM手写体和Sentinel-2数据集上的分类与检索任务中，该模型在表示解耦性方面优于SOTA的VAE/GAN基线模型。