[论文解读] Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN)

Peter Sorrenson, Carsten Rother+1 more|arXiv (Cornell University)|Jan 14, 2020

Neural Networks and Applications参考文献 26被引用 48

一句话总结

该论文将 nonlinear ICA 扩展到未知潜在维度设置，使用 General Incompressible-flow Networks (GIN)，并展示了可信息潜在变量的恢复，包括从 EMNIST 得到的 22 个可解释因素。

ABSTRACT

A central question of representation learning asks under which conditions it is possible to reconstruct the true latent variables of an arbitrarily complex generative process. Recent breakthrough work by Khemakhem et al. (2019) on nonlinear ICA has answered this question for a broad class of conditional generative processes. We extend this important result in a direction relevant for application to real-world data. First, we generalize the theory to the case of unknown intrinsic problem dimension and prove that in some special (but not very restrictive) cases, informative latent variables will be automatically separated from noise by an estimating model. Furthermore, the recovered informative latent variables will be in one-to-one correspondence with the true latent variables of the generating process, up to a trivial component-wise transformation. Second, we introduce a modification of the RealNVP invertible neural network architecture (Dinh et al. (2016)) which is particularly suitable for this type of problem: the General Incompressible-flow Network (GIN). Experiments on artificial data and EMNIST demonstrate that theoretical predictions are indeed verified in practice. In particular, we provide a detailed set of exactly 22 informative latent variables extracted from EMNIST.

研究动机与目标

• 将非线性 ICA 可识别性推广到未知的内在问题维度。
• 引入用于非线性 ICA 任务的体积保持可逆网络（GIN）。
• 证明可信息潜在变量可以从噪声中恢复并被区分开。
• 在人工数据和 EMNIST 数据集上演示理论与方法。

提出的方法

• 将带有潜在变量 z 和条件变量 u 的非线性 ICA 公式化，以及带有 x = f(z, ε) 的噪声空间。
• 使用估计模型 g（可逆神经网络），使 w = g^{-1}(x; θ) 将数据映射回潜在空间。
• 通过修改 RealNVP 以在 GIN 中确保单位的雅可比行列式来强制体积保持。
• 假设 z|u 与 w|u 的条件指数族分布，具有充分统计量 T 和 T'，并在可识别性下推导它们的仿射关系（T(z) = A T'(w) + c）。
• 当潜在空间为高斯分布时，证明 z_i 对应于单个 w_j，最多只在平移和缩放下，进而实现内在维度的发现。

实验结果

研究问题

• RQ1 生成潜在空间的内在维度可以未知但仍然被恢复吗？
• RQ2 在带条件的非线性 ICA 中，在哪些条件下可信息潜在变量能与噪声解耦？
• RQ3 体积保持的可逆网络（GIN）是否能够在简单变换下恢复真实潜在变量？
• RQ4 理论在实践中如何扩展到高斯（以及两参指数族）潜在空间？

主要发现

• 该理论将非线性 ICA 扩展到未知的内在维度，能够发现生成潜在空间的维度。
• 提出了一种 General Incompressible-flow Network (GIN)，作为用于非线性 ICA 的体积保持 RealNVP 变体。
• 在高斯潜在空间中，每个生成潜在变量都从恰好一个估计潜在变量恢复，且仅在平移和缩放下，未使用的估计编码噪声。
• 在人工数据上的实验表明，当混合分量足够重叠时，可信息变量可以从噪声中分离。
• 在 EMNIST 上，GIN 提取了 22 个可信息潜在变量；八个全局和十四个本地，对数字具有可解释的影响。
• 学习到的潜在变量在偏离理论假设的情况下仍然具有可解释性，表明该方法的实际可行性。