[论文解读] Graphical Normalizing Flows

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|Jun 3, 2020

Bayesian Modeling and Causal Inference参考文献 44被引用 12

一句话总结

该论文提出图形化归一化流（graphical normalizing flows），一种新颖的归一化流架构，通过具有预设或可学习结构的贝叶斯网络来建模可逆变换。通过将耦合流和自回归流形式化为贝叶斯网络的特例，该方法通过图拓扑注入领域知识，提升可解释性，并在无需固定排列的情况下实现具有竞争力的密度估计性能；当结构已知或通过ℓ₁-惩罚发现时，其性能优于标准归一化流。

ABSTRACT

Normalizing flows model complex probability distributions by combining a base distribution with a series of bijective neural networks. State-of-the-art architectures rely on coupling and autoregressive transformations to lift up invertible functions from scalars to vectors. In this work, we revisit these transformations as probabilistic graphical models, showing they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we propose the graphical normalizing flow, a new invertible transformation with either a prescribed or a learnable graphical structure. This model provides a promising way to inject domain knowledge into normalizing flows while preserving both the interpretability of Bayesian networks and the representation capacity of normalizing flows. We show that graphical conditioners discover relevant graph structure when we cannot hypothesize it. In addition, we analyze the effect of $\ell_1$-penalization on the recovered structure and on the quality of the resulting density estimation. Finally, we show that graphical conditioners lead to competitive white box density estimators. Our implementation is available at https://github.com/AWehenkel/DAG-NF.

研究动机与目标

• 通过概率图模型整合领域知识，以解决标准归一化流中可解释性不足和归纳偏置缺失的问题。
• 将耦合流和自回归流推广为具有结构化条件的贝叶斯网络。
• 通过ℓ₁-惩罚学习贝叶斯网络拓扑，实现有意义的条件独立关系发现。
• 证明当先验结构已知或可被学习时，图形化条件器可提升密度估计质量。
• 通过使用图结构化、可学习的掩码，消除对归一化流中固定排列的依赖。

提出的方法

• 将耦合流和自回归流重新表述为具有固定拓扑的贝叶斯网络，其中每个节点的条件密度通过神经网络学习。
• 提出图形条件器（graphical conditioner），一种可逆变换，利用有向无环图（DAG）定义哪些变量对其他变量进行条件化，支持可学习或固定的邻接矩阵。
• 通过NO TARS风格的可微分评分，对无环性约束进行连续松弛，实现DAG结构的端到端训练。
• 对邻接矩阵施加ℓ₁-惩罚，以鼓励稀疏性并发现有意义的条件独立结构。
• 通过堆叠图形条件器构建归一化流，其中可选的洗牌或可学习排列被图基掩码取代。
• 将图形条件器集成到标准归一化流架构中，保持精确似然计算和可逆性。

实验结果

研究问题

• RQ1 耦合流和自回归流能否被正式重新解释为具有固定拓扑的贝叶斯网络？
• RQ2 通过ℓ₁-惩罚优化学习贝叶斯网络结构，是否能获得优于标准自回归流或耦合流的密度估计性能？
• RQ3 当真实拓扑未知时，图形化归一化流能否发现相关的条件独立结构？
• RQ4 在密度估计任务中，图形化归一化流与标准黑盒归一化流架构相比表现如何？
• RQ5 图形条件器能否消除归一化流中对固定或可学习排列的依赖？

主要发现

• 即使在缺乏图结构先验知识的情况下，图形化归一化流在密度估计性能上仍可与最先进黑盒归一化流架构相媲美。
• 当提供真实的贝叶斯网络拓扑时，图形条件器在密度估计上显著优于自回归流和耦合流。
• 在适当的ℓ₁-惩罚下，模型能成功从数据中发现相关图结构，准确反映真实的条件独立关系。
• 该方法通过使用基于图的掩码，消除了对固定或可学习排列的依赖，从而同时提升了可解释性和建模保真度。
• 图形条件器在保持归一化流通用近似能力的同时，引入了结构化的归纳偏置，从而实现更好的泛化能力和可解释性。
• 该方法实现了白盒密度估计，具有显式、人类可读的条件依赖关系，适用于因果推理等下游任务。