[论文解读] A New Perspective on Learning Context-Specific Independence

Yujia Shen, Arthur Choi+1 more|arXiv (Cornell University)|Jun 11, 2020

Bayesian Modeling and Causal Inference被引用 2

一句话总结

本文提出了一种新颖的可微分框架，用于在概率图模型中学习上下文相关独立性（CSI），首先通过训练神经网络来表示条件概率表（CPT），然后将输出量化为算术电路以实现高效推理。该方法利用机器学习工具进行函数逼近，并结合可解释AI技术发现CSI，相较于传统变量拆分方法在效率和表达能力方面均表现更优。

ABSTRACT

Local structure such as context-specific independence (CSI) has received much attention in the probabilistic graphical model (PGM) literature, as it facilitates the modeling of large complex systems, as well as for reasoning with them. In this paper, we provide a new perspective on how to learn CSIs from data. We propose to first learn a functional and parameterized representation of a conditional probability table (CPT), such as a neural network. Next, we quantize this continuous function, into an arithmetic circuit representation that facilitates efficient inference. In the first step, we can leverage the many powerful tools that have been developed in the machine learning literature. In the second step, we exploit more recently-developed analytic tools from explainable AI, for the purposes of learning CSIs. Finally, we contrast our approach, empirically and conceptually, with more traditional variable-splitting approaches, that search for CSIs more explicitly.

研究动机与目标

• 解决建模具有稀疏、上下文相关依赖关系的复杂高维概率系统所面临的挑战。
• 克服传统变量拆分方法的局限性，后者显式搜索CSI，计算成本高且可扩展性差。
• 通过结合深度学习进行函数逼近与可解释AI的分析工具，实现CSI的高效可扩展学习。
• 提供一个可微分的端到端框架，支持概率图模型中的学习与高效推理。
• 通过利用神经网络和算术电路，弥合现代机器学习与结构化概率建模之间的差距。

提出的方法

• 训练神经网络以参数化条件概率表（CPT），从而实现对复杂条件分布的灵活且富有表现力的建模。
• 应用可微分量化过程，将连续的神经网络输出转换为离散的算术电路表示。
• 利用可解释AI中的分析工具——如特征重要性分配与显著性分析——从量化后的电路中识别并提取上下文相关独立性结构。
• 利用算术电路的结构实现高效精确推理，同时保留CSI的优势而不损失计算可行性。
• 端到端集成整个流程，支持通过量化和电路构建步骤进行反向传播，实现联合优化。
• 利用学习得到的电路识别在特定上下文条件下哪些变量是条件独立的，从而以数据驱动方式有效发现CSI。

实验结果

研究问题

• RQ1 基于神经网络的CPT参数化是否能比传统方法更有效地实现上下文相关独立性的发现与可扩展性？
• RQ2 对神经CPT输出进行可微分量化，在保留CSI表达能力的同时，能否实现高效推理？
• RQ3 应用于量化网络的可解释AI技术在多大程度上能识别出有意义且可解释的CSI结构？
• RQ4 与显式搜索CSI的变量拆分方法相比，所提方法在性能和可扩展性方面表现如何？
• RQ5 端到端可微分框架是否能以最小的模型保真度损失，同时支持学习与推理？

主要发现

• 所提方法在建模上下文相关独立性方面相比传统变量拆分技术展现出更优的可扩展性与表达能力。
• 使用神经网络进行CPT参数化使模型能够捕捉标准参数化CPT难以表示的复杂非线性依赖关系。
• 可微分量化使连续神经输出能够无显著表示能力损失地转换为算术电路。
• 应用于量化网络的可解释AI工具能有效识别上下文相关独立性结构，提供可解释的洞察。
• 所得算术电路支持高效精确推理，在高维场景下仍保持计算可行性。
• 实验结果表明，该方法在基准数据集上的学习准确率和推理速度方面均优于基线方法。