[论文解读] Lost in Latent Space: Disentangled Models and the Challenge of Combinatorial Generalisation

Milton L. Montero, Jeffrey S. Bowers+3 more|arXiv (Cornell University)|Apr 5, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文研究了高度解耦的生成模型为何在组合泛化（即泛化到未见过的因子组合）方面失败，尽管其解耦性很强。研究发现，失败主要源于编码器的错误泛化，即新组合的因子未被映射到潜在空间的正确区域；而只有在被排除的因子相互独立，或测试条件过于薄弱不足以挑战模型时，模型才能成功。

ABSTRACT

Recent research has shown that generative models with highly disentangled representations fail to generalise to unseen combination of generative factor values. These findings contradict earlier research which showed improved performance in out-of-training distribution settings when compared to entangled representations. Additionally, it is not clear if the reported failures are due to (a) encoders failing to map novel combinations to the proper regions of the latent space or (b) novel combinations being mapped correctly but the decoder/downstream process is unable to render the correct output for the unseen combinations. We investigate these alternatives by testing several models on a range of datasets and training settings. We find that (i) when models fail, their encoders also fail to map unseen combinations to correct regions of the latent space and (ii) when models succeed, it is either because the test conditions do not exclude enough examples, or because excluded generative factors determine independent parts of the output image. Based on these results, we argue that to generalise properly, models not only need to capture factors of variation, but also understand how to invert the generative process that was used to generate the data.

研究动机与目标

• 解决先前关于解耦模型能提升泛化能力的说法与近期发现其在组合泛化任务中失败之间的矛盾。
• 确定组合泛化失败的原因是编码器错误（潜在变量映射错误）还是解码器错误（从正确潜在码生成错误）。
• 评估高解耦性是否足以实现对未见生成因子组合的稳健泛化。
• 评估泛化成功是源于真正的组合性理解，还是由于测试条件过弱，未能充分排除新组合。

提出的方法

• 在受控的训练与测试条件下，系统性地在多种数据集（dSprites、3DShapes、MPI3D、Circles、Simple）上测试多种解耦模型（如VAEs、SBD、β-VAE）。
• 使用Hinton矩阵量化解耦性，通过测量潜在变量与生成因子之间的回归系数。
• 可视化训练与测试样本的潜在空间分布，以检测分布漂移、方差增加或预期与实际编码表示之间的错位。
• 定义了两种泛化条件：重组到元素（仅排除一个组合）与重组到范围（排除某一子集的所有组合），以评估模型的鲁棒性。
• 在相同架构与训练制度下比较模型，以隔离解耦性与数据分布变化的影响。
• 通过追踪未见因子组合的潜在表示，并与潜在空间中预期的目标区域进行比较，分析编码器与解码器的行为。

实验结果

研究问题

• RQ1 解耦模型在组合泛化中失败，是由于编码器错误泛化还是解码器故障？
• RQ2 潜在空间中的高解耦性是否能保证对未见生成因子组合的泛化能力提升？
• RQ3 在何种条件下模型能成功泛化到新组合？哪些结构或分布因素使其成为可能？
• RQ4 先前模型在泛化任务中取得成功，是源于真正的组合性推理，还是由于测试条件过弱，未能排除足够多的组合？
• RQ5 生成因子的独立性在多大程度上影响模型对未见组合的泛化能力？

主要发现

• 当模型在组合泛化中失败时，其编码器也未能将未见组合映射到潜在空间的正确区域，表明根本原因在于编码器错误泛化。
• 只有当被排除的生成因子对应于输出图像中相互独立的部分时，模型才能在泛化中取得成功，表明结构上的独立性有助于更好的泛化。
• 当测试条件未能充分排除新组合（例如重组到元素）时，模型可能看似成功泛化，但这并不代表真正的组合性理解。
• 即使高度解耦的模型在面对未见因子组合时，其潜在空间仍表现出显著的分布漂移和表示方差增加，尤其在dSprites和3DShapes等复杂数据集中更为明显。
• 在MPI3D和3DShapes等数据集中，当被排除的组合不独立时，即使解耦性很高，模型仍无法泛化，且潜在表示会漂向训练数据的聚类。
• 潜在空间的可视化显示，成功的泛化与训练数据和测试数据在潜在空间中具有分离良好、结构清晰的表示相关；而失败则表现为重叠、无结构或漂移的分布。