[论文解读] Tractable Generative Convolutional Arithmetic Circuits

Or Sharir, Ronen Tamari+2 more|arXiv (Cornell University)|Oct 13, 2016

Model Reduction and Neural Networks参考文献 20被引用 6

一句话总结

本文提出了张量混合模型（TMMs），一种可 tractable 的生成模型，结合卷积神经网络结构与张量分析，实现对复杂分布的高效边际化和高表达能力建模。TMMs 在缺失数据下的分类任务中达到最先进性能，兼具理论可解释性与实际有效性。

ABSTRACT

Casting neural networks in generative frameworks is a highly sought-after endeavor these days. Contemporary methods, such as Generative Adversarial Networks, capture some of the generative capabilities, but not all. In particular, they lack the ability of tractable marginalization, and thus are not suitable for many tasks. Other methods, based on arithmetic circuits and sum-product networks, do allow tractable marginalization, but their performance is challenged by the need to learn the structure of a circuit. Building on the tractability of arithmetic circuits, we leverage concepts from tensor analysis, and derive a family of generative models we call Tensorial Mixture Models (TMMs). TMMs assume a simple convolutional network structure, and in addition, lend themselves to theoretical analyses that allow comprehensive understanding of the relation between their structure and their expressive properties. We thus obtain a generative model that is tractable on one hand, and on the other hand, allows effective representation of rich distributions in an easily controlled manner. These two capabilities are brought together in the task of classification under missing data, where TMMs deliver state of the art accuracies with seamless implementation and design.

研究动机与目标

• 开发一种将可 tractable 推理与强大表示能力相结合的生成模型。
• 解决 GAN 及其他深度生成模型在高效边际化方面存在的局限性。
• 通过可学习的卷积架构，实现对复杂数据分布的结构化、可解释性建模。
• 基于算术电路，为生成模型的表达能力与结构提供理论洞见。
• 通过无缝、原则化的设计，在缺失数据下的分类任务中实现最先进性能。

提出的方法

• 作者提出张量混合模型（TMMs），一种基于算术电路的生成模型家族，采用结构化的卷积网络设计。
• TMMs 利用张量分析对混合成分进行参数化，实现高效且可扩展的计算。
• 该模型采用分层卷积结构，通过求和-乘积网络原理支持可 tractable 的边际化。
• 该架构支持端到端训练，同时保持算术电路的理论保证。
• 该方法将卷积层的结构归纳偏置与算术电路的可 tractability 相结合。
• 理论分析揭示了模型架构与其表达能力及推理效率之间的明确联系。

实验结果

研究问题

• RQ1 如何设计一种生成模型，使其兼具深度网络的表示能力与算术电路的可 tractability？
• RQ2 可引入哪些结构归纳偏置到基于算术电路的模型中，以提升其表达能力与学习效率？
• RQ3 基于张量的参数化在多大程度上能增强可 tractable 生成模型的建模能力？
• RQ4 可 tractable 模型能否在缺失数据下的分类任务中实现最先进性能？
• RQ5 TMMs 的架构在多大程度上影响其对复杂数据分布的表示能力？

主要发现

• TMMs 在缺失数据下的分类任务中达到最先进准确率，优于现有方法。
• 由于其基于算术电路的结构，模型支持高效且精确的边际化，实现可 tractable 推理。
• TMMs 的卷积结构使其能有效表示数据中的空间与分层模式。
• 理论分析揭示了模型架构与其表达能力之间的清晰联系。
• TMMs 提供了一个统一框架，平衡了模型表达能力、可 tractability 与可解释性。
• TMMs 的实现无缝且无需复杂的架构修改。