[论文解读] Disentanglement via Mechanism Sparsity Regularization: A New Principle for Nonlinear ICA

Sébastien Lachapelle, Pau Rodríguez López+5 more|arXiv (Cornell University)|Jul 21, 2021

Blind Source Separation Techniques参考文献 39被引用 7

一句话总结

本文提出机制稀疏正则化作为非线性独立成分分析（ICA）的新原则，通过联合推断稀疏因果图模型与潜在因子，实现解耦表征学习。该方法在稀疏性和图连通性条件下确保潜在变量的可识别性，通过基于VAE的框架结合二值掩码正则化得到验证，并在模拟实验中取得实际成功。

ABSTRACT

This work introduces a novel principle we call disentanglement via mechanism sparsity regularization, which can be applied when the latent factors of interest depend sparsely on past latent factors and/or observed auxiliary variables. We propose a representation learning method that induces disentanglement by simultaneously learning the latent factors and the sparse causal graphical model that relates them. We develop a rigorous identifiability theory, building on recent nonlinear independent component analysis (ICA) results, that formalizes this principle and shows how the latent variables can be recovered up to permutation if one regularizes the latent mechanisms to be sparse and if some graph connectivity criterion is satisfied by the data generating process. As a special case of our framework, we show how one can leverage unknown-target interventions on the latent factors to disentangle them, thereby drawing further connections between ICA and causality. We propose a VAE-based method in which the latent mechanisms are learned and regularized via binary masks, and validate our theory by showing it learns disentangled representations in simulations.

研究动机与目标

• 为解决非线性ICA中的可识别性问题，该问题在标准方法下因潜在因子恢复的非唯一性而难以解决。
• 形式化一种新的归纳偏置——潜在机制中的稀疏性，当与辅助变量或时间结构结合时，可实现解耦。
• 通过联合学习潜在因子及其稀疏因果依赖关系，统一因果表征学习与解耦。
• 为稀疏性和图连通性条件下的可识别性提供严格的理论基础，扩展了先前的非线性ICA结果。

提出的方法

• 提出一种基于VAE的框架，通过可学习的二值掩码对潜在机制进行正则化，以在潜在因子之间的依赖关系中强制实现稀疏性。
• 引入一种联合学习目标，同时估计潜在因子与描述其关系的稀疏因果图模型。
• 采用机制稀疏正则化项，惩罚推断因果图中的密集依赖关系，促进稀疏且可解释的结构。
• 利用观测到的辅助变量（如动作、时间索引）作为条件变量，以实现对可识别性至关重要的条件独立性假设。
• 应用非线性ICA的理论结果，证明稀疏机制与图连通性可确保潜在因子恢复至排列等价性。
• 通过基于VAE的二值掩码正则化模拟实验验证该方法，结果表明在稀疏性约束下实现了更优的解耦性能。

实验结果

研究问题

• RQ1 潜在因子之间因果机制的稀疏性是否能确保在非线性ICA中实现这些因子的可识别性？
• RQ2 在存在辅助变量或时间结构的情况下，机制稀疏正则化在何种条件下可导致解耦表征？
• RQ3 联合学习潜在因子与稀疏因果图的框架，相较于标准VAE，如何提升解耦性能？
• RQ4 是否可以利用对潜在因子的未知目标干预来实现解耦，这与机制稀疏性有何关联？
• RQ5 所提出方法在保持良好重建性能的同时，相较于现有基线方法，在解耦性能上的提升程度如何？

主要发现

• 理论分析证明，在机制稀疏性和图连通性条件下，潜在因子可被恢复至排列等价性，为非线性ICA提供了新的可识别性条件。
• 该方法在模拟实验中成功学习了解耦表征，解耦性能通过MCC和UDR度量，结果在不同超参数设置下表现一致。
• 通过无监督解耦度量排名（UDR）选择超参数，可识别出具有稳定、一致表征的模型，尤其在排除边数少于10条的过度稀疏图时效果更佳。
• 基于VAE的实现结合二值掩码正则化，其解耦性能优于TCVAE和SlowVAE等基线模型，尤其在高稀疏性正则化条件下优势明显。
• 观察到重建性能（ELBO）与解耦性能（MCC）之间的权衡，但UDR能有效识别出能产生稳定、解耦表征的超参数。
• 该方法可实现因果结构的恢复，例如在模拟环境中恢复物体动力学，从而支持对语义变量的下游干预。