[论文解读] Learning Bayesian Networks with Low Rank Conditional Probability Tables

Adarsh Barik, Jean Honorio|arXiv (Cornell University)|May 1, 2019

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文提出一种方法，通过使用少量条件概率查询从黑箱模型中学习贝叶斯网络的精确有向结构，且条件概率表为低秩形式。通过将低秩性与集合函数的傅里叶分析相联系，该方法确保了多项式时间内的结构恢复，且样本复杂度为多项式级别，从而在数据访问受限的情况下，仍能实现高效且可证明正确的学习。

ABSTRACT

In this paper, we provide a method to learn the directed structure of a Bayesian network using data. The data is accessed by making conditional probability queries to a black-box model. We introduce a notion of simplicity of representation of conditional probability tables for the nodes in the Bayesian network, that we call ``low rankness''. We connect this notion to the Fourier transformation of real valued set functions and propose a method which learns the exact directed structure of a `low rank` Bayesian network using very few queries. We formally prove that our method correctly recovers the true directed structure, runs in polynomial time and only needs polynomial samples with respect to the number of nodes. We also provide further improvements in efficiency if we have access to some observational data.

研究动机与目标

• 解决仅能通过黑箱模型访问条件概率查询时，学习贝叶斯网络结构的挑战。
• 通过引入‘低秩性’的概念，形式化条件概率表的简化表示，以实现高效的结构学习。
• 开发一种多项式时间算法，仅使用最少的数据和查询，恢复低秩贝叶斯网络的真实有向结构。
• 将该方法扩展至在存在观测数据时，进一步提升学习过程的效率。

提出的方法

• 引入条件概率表（CPTs）中‘低秩性’的概念，作为表示简洁性的度量。
• 建立低秩CPTs与实值集合函数傅里叶变换之间的联系。
• 设计一种查询高效的算法，利用条件概率查询推断真实网络结构。
• 利用基于傅里叶的分解方法，以最小的查询开销识别节点的父节点集合。
• 确保结构恢复具有多项式时间复杂度和多项式样本需求。
• 引入观测数据，以进一步提升学习过程中的查询效率。

实验结果

研究问题

• RQ1 是否可以仅通过向黑箱模型发起条件概率查询，精确恢复贝叶斯网络的有向结构？
• RQ2 如何将CPT中的低秩性概念与集合函数的傅里叶分析进行形式化关联？
• RQ3 为确保对低秩贝叶斯网络的精确结构恢复，所需的最少查询次数是多少？
• RQ4 该方法在节点数量增加时，是否能保持正确性并维持多项式复杂度，实现高效扩展？
• RQ5 在低秩假设下，访问观测数据如何提升结构学习的效率？

主要发现

• 所提出的方法可证明地使用多项式数量的查询，精确恢复低秩贝叶斯网络的有向结构。
• 该算法运行时间在多项式时间内，且相对于节点数量，仅需多项式样本。
• 低秩CPTs与集合函数傅里叶变换之间的联系，使得结构推断更加高效且准确。
• 该方法通过极少的查询访问即可实现精确恢复，因此适用于黑箱模型设置。
• 额外的观测数据可进一步提升查询效率，增强实际可扩展性。