[论文解读] Active Structure Learning of Bayesian Networks in an Observational Setting

Noa Ben-David, Sivan Sabato|arXiv (Cornell University)|Mar 25, 2021

Machine Learning and Algorithms被引用 5

一句话总结

本文提出 ActiveBNSL，一种针对观测约束下贝叶斯网络结构学习的主动学习算法，其中每个样本中仅能观测有限数量的变量。通过战略性地选择每个样本中观测哪些变量，并考虑马尔可夫等价类，该方法在稳定分布下将样本复杂度降低了高达 \widetilde{\Omega}(d^3)，且在最坏情况下的性能退化极小。

ABSTRACT

We study active structure learning of Bayesian networks in an observational setting, in which there are external limitations on the number of variable values that can be observed from the same sample. Random samples are drawn from the joint distribution of the network variables, and the algorithm iteratively selects which variables to observe in the next sample. We propose a new active learning algorithm for this setting, that finds with a high probability a structure with a score that is $\\epsilon$-close to the optimal score. We show that for a class of distributions that we term stable, a sample complexity reduction of up to a factor of $\\widetilde{\\Omega}(d^3)$ can be obtained, where $d$ is the number of network variables. We further show that in the worst case, the sample complexity of the active algorithm is guaranteed to be almost the same as that of a naive baseline algorithm. To supplement the theoretical results, we report experiments that compare the performance of the new active algorithm to the naive baseline and demonstrate the sample complexity improvements. Code for the algorithm and for the experiments is provided at https://github.com/noabdavid/activeBNSL.

研究动机与目标

• 解决在每个样本中仅能观测有限数量变量这一常见约束下学习贝叶斯网络结构的挑战，该约束常见于医学、传感器和神经科学应用。
• 开发一种主动学习算法，与均匀采样变量子集的朴素基线方法相比，可降低样本复杂度。
• 刻画一类分布——称为“稳定”分布——在此类分布下理论上可实现显著的样本复杂度改进。
• 通过保证主动算法在最坏情况下的样本复杂度几乎与朴素基线相当，确保其鲁棒性。
• 通过实验展示该方法在合成网络和基准网络上的实际可行性，实现显著的样本节省。

提出的方法

• 提出 ActiveBNSL，一种主动学习算法，通过迭代选择每个样本中应观测的变量，以最大化结构学习的信息增益。
• 采用基于评分的框架，其中每个 DAG 根据底层分布被赋予一个评分，目标是找到一个与最优评分 \epsilon-接近的结构。
• 将马尔可夫等价类直接整合到学习过程中，避免对等价结构进行冗余探索。
• 利用集中不等式和一致收敛保证，确保所学结构以高概率接近最优。
• 将现有结构搜索过程作为黑箱模块集成，支持使用标准贝叶斯网络学习软件进行实际部署。
• 定义并分析“稳定分布”——一类其中许多变量关系易于识别的分布，从而可实现巨大的样本复杂度降低。

实验结果

研究问题

• RQ1 在观测约束下，主动变量选择能否降低贝叶斯网络结构学习的样本复杂度？
• RQ2 主动学习在哪些分布类别下相对于朴素采样能实现显著的样本复杂度优势？
• RQ3 与朴素基线相比，主动算法在最坏情况下的性能退化程度如何？
• RQ4 该算法在多大程度上能利用底层分布的结构特性来减少所需样本数？
• RQ5 该主动学习方法能否在合成网络和真实世界网络上实现实际部署并得到经验验证？

主要发现

• 对于稳定分布，ActiveBNSL 实现了高达 \widetilde{\Omega}(d^3) 的样本复杂度降低，其中 d 为网络变量数。
• 在 r=2^{19} 的合成网络中，ActiveBNSL 所需样本仅为朴素算法的 15%。
• 在 r=2^{19} 的基准网络中，ActiveBNSL 所需样本仅为朴素基线的 6%，显示出显著的实证优势。
• 当变量数 d 和精度参数 r（即更小的 \epsilon）增大时，样本复杂度改进程度也随之增加，表明在更高精度要求下收益更强。
• 当 r 较小时（例如 r=2^{13}），ActiveBNSL 与朴素算法所需样本量相近，表明在此类情形下收益极小。
• 在有利配置下，该算法能更早接受更多家庭，这与更大的样本量减少密切相关。