[论文解读] Inference, Learning, and Population Size: Projectivity for SRL Models

Manfred Jaeger, Oliver Schulte|arXiv (Cornell University)|Jul 2, 2018

Bayesian Modeling and Causal Inference参考文献 16被引用 7

一句话总结

本文研究了统计关系学习（SRL）模型中边缘概率对域大小的依赖性，引入了投影性（projectivity）作为正式标准，以确保在不同总体规模下推理与学习的鲁棒性。本文识别出三种主流SRL框架——马尔可夫逻辑网络（MLNs）、关系贝叶斯网络（RBNs）和ProbLog——保证投影性的句法条件，证明此类模型在任意域大小下均能产生一致的预测结果，其意义在于可从子网络中进行有效最大似然学习。

ABSTRACT

A subtle difference between propositional and relational data is that in many relational models, marginal probabilities depend on the population or domain size. This paper connects the dependence on population size to the classic notion of projectivity from statistical theory: Projectivity implies that relational predictions are robust with respect to changes in domain size. We discuss projectivity for a number of common SRL systems, and identify syntactic fragments that are guaranteed to yield projective models. The syntactic conditions are restrictive, which suggests that projectivity is difficult to achieve in SRL, and care must be taken when working with different domain sizes.

研究动机与目标

• 为解决关系模型中边缘概率依赖于域或总体大小这一反直觉问题，该问题削弱了模型的鲁棒性与计算效率。
• 将这种域大小依赖性与经典统计学中的投影性概念相联系，确保子网络的预测结果在存在外部节点时保持一致。
• 识别出常见SRL框架——马尔可夫逻辑网络（MLNs）、关系贝叶斯网络（RBNs）和ProbLog——中保证投影性的句法片段，从而实现可靠推理与学习。
• 建立从嵌入在更大网络中的子网络进行最大似然参数估计时保持有效性与一致性的条件。

提出的方法

• 将SRL中的投影性形式化为一种属性，确保较小域 $ m $ 的分布与任意较大域 $ n > m $ 的边缘分布一致，从而保证不同域大小下的预测一致性。
• 将可交换的关系随机结构模型（RRSMs）作为分析投影性的基础，假设不包含常量或固定域排序。
• 引入对似然函数的可分性条件，即对数似然可分解为大小为 $ l $ 的子结构上的独立分量，从而支持模块化优化。
• 将此可分性条件应用于证明：在特定句法约束下，对大小为 $ m $ 的子网络进行最大似然估计，其结果与对大小为 $ n $ 的更大网络进行估计一致。
• 证明当模型仅使用投影性片段（如公式中所有原子共享相同的高阶变量，无重复参数）且似然函数在 $ k $-计数统计量上为线性且可分时，RBNs 和 ProbLog 中的投影性成立。
• 通过组合论证与期望计算，表明从更大域中抽样得到的子网络的期望对数似然与子网络上的对数似然成正比，从而验证了在可分性条件下从子网络进行最大似然学习的一致性。

实验结果

研究问题

• RQ1 马尔可夫逻辑网络在何种句法条件下能产生与域大小无关的投影性模型？
• RQ2 通过约束模型结构与组合规则，能否使关系贝叶斯网络具备投影性？
• RQ3 当完整网络规模大于子网络时，从子网络进行最大似然学习是否仍然有效？在何种条件下成立？
• RQ4 似然函数在 $ k $-计数统计量上的可分性与SRL模型中的投影性有何关系？
• RQ5 是否存在自然域示例，使得MLN的投影性条件（即公式中所有原子共享相同的首阶变量）自然出现？

主要发现

• 投影性是一个强条件，可确保子网络的边缘预测在总体域大小变化时保持不变，从而支持鲁棒推理与学习。
• 本文识别出马尔可夫逻辑网络、关系贝叶斯网络和ProbLog中能保证投影性的句法片段，但这些条件具有较强限制性，表明在实践中实现投影性较为困难。
• 对于RBNs，当模型避免使用重复参数并仅使用投影性片段时，投影性成立，从而确保似然函数在 $ k $-计数统计量上线性且可分。
• 在ProbLog中，当似然函数在 $ k $-计数统计量上为线性且可分时，即使不局限于投影性片段（在完全可观测情况下），从子网络进行最大似然学习仍具有效性与一致性。
• 从大小为 $ n $ 的更大网络中抽取的大小为 $ m $ 的子网络的期望对数似然，与完整网络的对数似然成正比，这在可分性条件下验证了从子网络进行最大似然学习的一致性。
• 结果表明，尽管投影性可提升计算与推断的鲁棒性，但其代价是模型表达能力的降低，因此在SRL中它是一种有价值但有限的设计原则。