[论文解读] Learning implicitly in reasoning in PAC-Semantics

Brendan Juba|arXiv (Cornell University)|Sep 1, 2012

Logic, Reasoning, and Knowledge参考文献 45被引用 4

一句话总结

本文提出了一种在PAC-语义下进行高效推理的方法，通过从部分遮蔽的示例中隐式学习背景知识，而无需显式构建假设。该方法将问题简化为有界空间证明系统（例如，树形归结），即使所学规则不完全有效，也能实现可 tractable 的推理——在不引入传统认知学习计算障碍的情况下，实现类似认知学习的鲁棒性。

ABSTRACT

We consider the problem of answering queries about formulas of propositional logic based on background knowledge partially represented explicitly as other formulas, and partially represented as partially obscured examples independently drawn from a fixed probability distribution, where the queries are answered with respect to a weaker semantics than usual -- PAC-Semantics, introduced by Valiant (2000) -- that is defined using the distribution of examples. We describe a fairly general, efficient reduction to limited versions of the decision problem for a proof system (e.g., bounded space treelike resolution, bounded degree polynomial calculus, etc.) from corresponding versions of the reasoning problem where some of the background knowledge is not explicitly given as formulas, only learnable from the examples. Crucially, we do not generate an explicit representation of the knowledge extracted from the examples, and so the "learning" of the background knowledge is only done implicitly. As a consequence, this approach can utilize formulas as background knowledge that are not perfectly valid over the distribution---essentially the analogue of agnostic learning here.

研究动机与目标

• 在背景知识部分以显式公理形式给出、部分以从分布中抽取的部分遮蔽示例形式给出的情况下，实现对逻辑查询的高效推理。
• 解决PAC-语义下的推理挑战，其中结论必须在示例分布上以高概率成立，而非在逻辑上必然成立。
• 开发一种隐式学习背景知识的方法——无需构建显式假设——从而避免认知学习的计算不可行性。
• 证明有 tractable 证明系统（例如，有界空间树形归结）可被用于在所学规则不完美时，认证PAC-语义下的查询有效性。
• 证明该方法在存在不完美或不一致规则时仍能保持效率与正确性，使其适用于规划中的框架公理等现实世界AI应用。

提出的方法

• 将PAC-语义下的推理问题简化为有界空间命题证明系统中的决策问题，例如空间有界的树形归结或有界次数的多项式微积分。
• 使用Michael [40] 提出的部分信息模型来表示部分遮蔽的示例，其中仅观察到变量的子集。
• 采用一种用于树形归结证明的正规形式，消除冗余的削弱步骤，并保持子句空间，从而实现高效的搜索。
• 应用一种递归搜索算法（SearchSpace），从根节点出发探索路径，优先选择在更小空间内可推导出的子句，以在O(|φ|·n²(s−1))时间内找到有效证明。
• 依赖于限制下推理规则的保持性，确保在部分赋值下有效的证明在完整语义下依然有效。
• 避免显式生成假设，从而绕过认知学习通常面临的计算困难，同时仍能处理有效性不足的规则。

实验结果

研究问题

• RQ1 当背景知识部分从部分遮蔽示例中学习时，能否使PAC-语义下的推理变得高效？
• RQ2 是否可能在不显式学习或表示规则的情况下，实现对不完美或不一致规则的鲁棒推理？
• RQ3 即使所学规则在分布上不完全有效，能否使用有界空间证明系统高效地认证PAC-语义下的查询有效性？
• RQ4 缺乏显式假设生成是否使系统能够绕过认知学习中已知的困难结果？
• RQ5 该方法在不同具有高效决策过程的命题证明系统上可推广到何种程度？

主要发现

• 该方法通过将问题简化为有界空间证明搜索，高效地认证了PAC-语义下的查询有效性，对于空间-s树形归结，运行时间为O(|φ|·n²(s−1))。
• 建立了空间-s树形归结证明的正规形式，消除了冗余的削弱步骤，并保持了子句空间，从而支持高效搜索。
• SearchSpace算法若存在空间-s树形归结证明，将正确找到该证明；否则返回'none'，并具有所述时间复杂度。
• 该方法在不显式学习规则的情况下实现了类似认知学习的鲁棒性，从而避免了此类设置下通常关联的计算不可行性。
• 几乎所有具有高效决策算法的标准命题证明系统（例如，有界次数多项式微积分）均满足所需条件，表明其具有广泛适用性。
• 即使所学规则在分布上不完全有效，该方法仍能保持可 tractable 性，使其适用于涉及近似或框架公理的现实世界AI应用。