[论文解读] Gacs-Korner Common Information Variational Autoencoder

Michael Kleinman, Alessandro Achille+2 more|arXiv (Cornell University)|May 24, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出一种变分自编码器框架 GK-VAE，通过近似 Gács-Körner 共同信息，将多视角数据分解为语义上有意义的共有和特有变化因子。该方法在图像和视频等高维数据中实现了解耦表征学习，实证结果显示其能恢复真实因子，并通过保留特有信息，在性能上优于对比学习方法。

ABSTRACT

We propose a notion of common information that allows one to quantify and separate the information that is shared between two random variables from the information that is unique to each. Our notion of common information is defined by an optimization problem over a family of functions and recovers the Gács-Körner common information as a special case. Importantly, our notion can be approximated empirically using samples from the underlying data distribution. We then provide a method to partition and quantify the common and unique information using a simple modification of a traditional variational auto-encoder. Empirically, we demonstrate that our formulation allows us to learn semantically meaningful common and unique factors of variation even on high-dimensional data such as images and videos. Moreover, on datasets where ground-truth latent factors are known, we show that we can accurately quantify the common information between the random variables.

研究动机与目标

• 开发一种可扩展的方法，用于从高维数据中近似 Gács-Körner 共同信息，此前缺乏实用的计算方法。
• 通过 Gács-Körner 定义的变分松弛，将多视角数据分解为共享（共有）和独立（特有）的潜在因子。
• 实现高维感官数据（如图像和视频）中无监督、自监督的有意义因子解耦。
• 提供一种生成模型，支持对共有和特有因子进行采样与操作，以支持下游任务。
• 证明保留特有信息可提升性能，优于丢弃此类信息的对比学习方法。

提出的方法

• 提出 Gács-Körner 共同信息定义的变分松弛，允许使用随机映射而非确定性函数。
• 修改标准 VAE，引入分别用于共有和特有潜在变量的编码器，其中共享的共有潜在变量 $ z_c $ 是两个输入的函数。
• 使用基于 KL 散度的目标函数，通过共有潜在变量与每个输入之间的互信息来近似 Gács-Körner 共同信息。
• 采用多视角 VAE 架构，引入独立的特有潜在变量 $ z_{u1}, z_{u2} $ 以捕捉视角特异性的变化因子。
• 通过一个损失函数优化模型，该函数在重建误差、共同信息最大化和特有信息建模之间取得平衡。
• 将方法应用于 dSprites 和 3dShapes 等数据集的成对视角，以及视频序列中的时间帧，利用学习到的潜在变量量化随时间变化的共同信息。

实验结果

研究问题

• RQ1 能否从高维真实世界数据（如图像和视频）中有效近似 Gács-Körner 共同信息？
• RQ2 能否修改变分自编码器，以在多视角数据中联合解耦共有和特有变化因子？
• RQ3 保留特有信息是否能带来优于对比学习（后者丢弃此类信息）的表征学习性能？
• RQ4 当真实解耦因子已知时（如在合成数据集中），所提方法能否恢复这些因子？
• RQ5 在视频序列中，共同信息量如何随时间变化？模型能否量化这种衰减？

主要发现

• GK-VAE 在高维图像和视频数据中成功学习到语义上有意义的共有和特有变化因子，定性分析显示潜在空间具有良好的解耦性。
• 在 dSprites 和 3dShapes 数据集上，模型在共享潜在空间中准确恢复了真实共有因子（如数字类别、形状、颜色）。
• 特有潜在变量捕捉了视角特异性属性，如旋转角度和厚度，模型能够从潜在编码中解码出这些信息。
• 与对比学习不同，后者无法恢复数字的旋转角度（离散化为 10 个区间），GK-VAE 能够从两个视角中成功解码特有信息。
• 在视频实验中，模型显示帧间共同信息随时间延迟增加而减少，与预期的相关性衰减一致。
• 该方法提供了对 Gács-Körner 共同信息的可扩展近似，此前该方法在高维数据中难以实现。