[论文解读] Relational Marginal Problems: Theory and Estimation

Ondřej Kuželka, Yuyi Wang+2 more|ORCA Online Research @Cardiff (Cardiff University)|Sep 18, 2017

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出关系边际问题作为关系模型中统计上可靠的参数估计框架，尤其适用于训练数据与测试数据规模不同的情况。它建立了最大熵分布与最大似然估计之间的对偶性，推导了估计误差的界，并提出了调整方法，以确保在无放回抽样下可实现性与有效样本量估计的有效性。

ABSTRACT

In the propositional setting, the marginal problem is to find a (maximum-entropy) distribution that has some given marginals. We study this problem in a relational setting and make the following contributions. First, we compare two different notions of relational marginals. Second, we show a duality between the resulting relational marginal problems and the maximum likelihood estimation of the parameters of relational models, which generalizes a well-known duality from the propositional setting. Third, by exploiting the relational marginal formulation, we present a statistically sound method to learn the parameters of relational models that will be applied in settings where the number of constants differs between the training and test data. Furthermore, based on a relational generalization of marginal polytopes, we characterize cases where the standard estimators based on feature's number of true groundings needs to be adjusted and we quantitatively characterize the consequences of these adjustments. Fourth, we prove bounds on expected errors of the estimated parameters, which allows us to lower-bound, among other things, the effective sample size of relational training data.

研究动机与目标

• 解决在训练数据与测试数据常量数量不同时，统计关系学习（SRL）中参数估计的挑战。
• 为从抽样关系数据中推导出的参数估计提供统计保证，尤其在完整数据不可用时。
• 提出一种系统方法，调整参数估计，以确保关系边际问题中最大熵解的存在性。
• 刻画标准基于特征的估计器在不同域大小下无偏且可实现的条件。
• 建立期望估计误差的界，并推导关系训练数据有效样本量的下界。

提出的方法

• 引入两种关系边际的概念：一种基于关系边际分布，另一种基于Halpern风格的随机替换语义。
• 建立满足给定关系边际的最大熵分布与马尔可夫逻辑网络（MLNs）中最大似然估计之间的对偶性。
• 提出当因域大小不匹配导致关系边际问题不可实时现时，调整估计参数的方法。
• 定义关系边际多面体，以刻画可行边际分布的集合，并确定未调整估计器在任意域大小下是否可实现。
• 使用集中不等式（Hoeffding不等式）来界定抽样域中估计边际概率与真实边际概率之间的期望差异。
• 推导出真实全局边际与子样本中估计边际之间期望误差的上界：$\mathbb{E}[|\widehat{A}_{\aleph} - \widehat{B}_{\Upsilon}|] \leq 1 - \left(\frac{m-k+1}{m}\right)^{k-1} + \sqrt{\frac{1+2\log 2}{4\lfloor m/k\rfloor}}$。

实验结果

研究问题

• RQ1 如何定义适当的关系边际，以将命题边际问题推广到关系域？
• RQ2 最大熵与最大似然估计之间的对偶性如何扩展到关系设置中？
• RQ3 在何种条件下关系边际问题可实现？当不可实时现时，如何调整估计？
• RQ4 从抽样关系数据中推导出的参数估计的统计特性是什么？它们如何依赖于域大小？
• RQ5 当完整数据不可用时，如何量化关系训练数据的有效样本量？

主要发现

• 建立了满足关系边际的最大熵分布与马尔可夫逻辑网络中最大似然估计之间的对偶性，推广了命题情形。
• 真实全局边际与子样本中估计边际之间的期望误差被限制在 $1 - \left(\frac{m-k+1}{m}\right)^{k-1} + \sqrt{\frac{1+2\log 2}{4\lfloor m/k\rfloor}}$ 以内，其中 $m$ 为抽样域的大小，$k$ 为局部示例的宽度。
• 对于模型B，期望误差界依赖于公式中的变量数量：$\mathbb{E}[|\widetilde{A}_{\Upsilon} - A_{\aleph}|] \leq \sqrt{\frac{1+2\log 2}{4\lfloor n/|\text{vars}(\alpha)|\rfloor}}$。
• 引入了关系边际多面体，以刻画可行边际分布的集合，并确定未调整估计器在任意域大小下是否可实现。
• 本文基于期望估计误差，为关系训练数据的有效样本量提供了下界。
• 所提出的调整方法可确保即使原始估计不可实时现，关系边际问题也存在解。