[论文解读] Bayesian Tensor Network and Optimization Algorithm for Probabilistic Machine Learning

Shi-Ju Ran|arXiv (Cornell University)|Dec 30, 2019

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文提出贝叶斯张量网络（BTN），一种多项式复杂度的图模型，通过利用有向无环张量网络，高效捕捉在指数级事件空间中的条件概率。应用于图像识别时，BTN仅使用简单的树结构即实现具有竞争力的性能，表明在视觉识别任务中存在波动的‘面积定律’。

ABSTRACT

It is known that describing or calculating the conditional probabilities of multiple events is exponentially expensive. In this work, Bayesian tensor network (BTN) is proposed to efficiently capture the conditional probabilities of multiple sets of events with polynomial complexity. BTN is a directed acyclic graphical model that forms a subset of TN. To testify its validity for exponentially many events, BTN is implemented to the image recognition, where the classification is mapped to capturing the conditional probabilities in an exponentially large sample space. Competitive performance is achieved by the BTN with simple tree network structures. Analogous to the tensor network simulations of quantum systems, the validity of the simple-tree BTN implies an ``area law'' of fluctuations in image recognition problems.

研究动机与目标

• 解决在概率机器学习中对多个事件之间条件概率建模时面临的指数级计算成本问题。
• 开发一种可扩展的框架，以实现高维条件依赖关系的可 tractable（可处理）计算表示。
• 在图像识别任务中验证该方法，其中样本空间随像素集合的增加而呈指数级增长。
• 探索张量网络的结构简洁性作为实现复杂概率模型中高效推理的路径。

提出的方法

• 在张量网络（TN）家族中提出贝叶斯张量网络（BTN）作为有向无环图模型。
• 利用将高阶依赖关系分解为局部可处理因子的张量网络结构来建模条件概率。
• 利用树状结构的BTN架构，将计算复杂度降低至多项式时间。
• 将图像分类任务映射为在指数级大样本空间中的条件概率估计问题。
• 借鉴量子系统中张量网络模拟的类比，解释结构效率。
• 应用针对BTN结构定制的优化算法，以提升推理与学习性能。

实验结果

研究问题

• RQ1 基于张量网络的模型能否在概率机器学习中高效表示指数级事件数量的条件概率？
• RQ2 尽管输入空间维度高，简单的树状结构BTN是否在图像识别中实现具有竞争力的性能？
• RQ3 是否存在一种结构性原理——例如‘面积定律’——控制概率图像识别模型中的波动？
• RQ4 与传统贝叶斯网络相比，BTN的多项式复杂度在多大程度上实现了可扩展推理？

主要发现

• BTN仅使用简单的树状结构网络，即在图像识别任务中实现具有竞争力的分类性能。
• BTN的计算复杂度随事件数量的增加呈多项式增长，而非指数增长。
• 简单树状BTN结构的成功表明，在图像识别中存在一种潜在的‘面积定律’，用于描述波动，类似于量子系统中的现象。
• 该模型在无需复杂架构的情况下，有效捕捉了高维样本空间中的条件依赖关系。