[论文解读] The Window Validity Problem in Rule-Based Stream Reasoning

Alessandro Ronca, Mark Kaminski+2 more|arXiv (Cornell University)|Aug 7, 2018

Advanced Database Systems and Queries参考文献 37被引用 7

一句话总结

本文提出了前向传播查询（forward-propagating queries），这是时间Datalog的一个可处理片段，通过仅允许推理向前传播至未来时间，实现了高效、实时的流式推理。通过形式化窗口有效性问题，确保在有界历史数据下保持正确性，从而最小化内存使用，并证明了多项式数据复杂度，同时提供了一种通用的流式处理算法，可实现最优窗口大小选择。

ABSTRACT

Rule-based temporal query languages provide the expressive power and flexibility required to capture in a natural way complex analysis tasks over streaming data. Stream processing applications, however, typically require near real-time response using limited resources. In particular, it becomes essential that the underpinning query language has favourable computational properties and that stream processing algorithms are able to keep only a small number of previously received facts in memory at any point in time without sacrificing correctness. In this paper, we propose a recursive fragment of temporal Datalog with tractable data complexity and study the properties of a generic stream reasoning algorithm for this fragment. We focus on the window validity problem as a way to minimise the number of time points for which the stream reasoning algorithm needs to keep data in memory at any point in time.

研究动机与目标

• 为在规则驱动的流式推理中保持正确性的同时最小化历史数据的内存使用而提出挑战。
• 识别出时间Datalog的一个可处理片段，支持仅向未来传播的递归推理，避免向后传播带来的内存需求增加。
• 将窗口有效性问题形式化为一种机制，以确定正确流式处理所需的最小窗口大小，而无需存储无界的历史输入。
• 设计一种通用的流式推理算法，通过利用窗口有效性条件，在有界内存下保证正确性。
• 证明前向传播查询具有多项式数据复杂度，使其适用于可扩展、实时的数据密集型应用。

提出的方法

• 提出时间Datalog的一个递归片段——前向传播查询，其中推导出的事实只能传播到未来的时间点，而不能传播到过去的时间点。
• 将窗口有效性问题定义为一种条件，确保在时间τ的查询答案仅依赖于时间窗口[τ−w, τ]内的事实，从而实现内存效率。
• 提出一种以窗口大小w和签名Σ为参数的通用流式推理算法，该算法仅在内存中维护最近w个时间点的事实。
• 通过从平铺问题（tiling problem）的约化，证明窗口有效性问题的coNP难性，从而确立其计算复杂度。
• 使用涉及等式、后继关系和平铺谓词的形式化构造，将平铺问题编码为查询包含问题，从而证明约化的正确性。
• 证明对于前向传播片段，窗口有效性问题为coNP完全；当本体论中至少包含两个对象时，问题变为coNExp完全。

实验结果

研究问题

• RQ1 能否定义时间Datalog的一个可处理片段，支持仅向未来的递归推理，从而确保多项式数据复杂度？
• RQ2 最小窗口大小w是多少，使得流式推理算法能够仅使用最近w个时间点的事实，正确计算答案？
• RQ3 窗口有效性问题是否可在多项式时间内判定，还是其计算上是困难的？
• RQ4 窗口有效性问题的复杂度与查询包含及时间Datalog推理之间有何关联？
• RQ5 窗口有效性条件能否用于设计一种通用的流式处理算法，以确保在有界内存使用下保持正确性？

主要发现

• 前向传播查询片段确保了多项式数据复杂度，使其适用于可扩展、实时的流式推理。
• 对于前向传播片段，窗口有效性问题为coNP完全，表明在最坏情况下确定最小窗口大小是计算上可处理的。
• 当本体论中至少包含两个对象时，问题变为coNExp完全，反映出在更丰富数据下的推理复杂度增加。
• 提出了一种通用的流式处理算法，通过将内存限制在大小为w的窗口内，保证了正确性，答案仅使用[τ−w, τ]内的事实进行计算。
• 从平铺问题到查询包含问题的约化证明了窗口有效性问题为coNP难，确立了其计算困难性。
• 只有当窗口大小w满足窗口有效性条件时，算法的正确性才能得到保证，确保超过w个时间点的过去事实不会影响当前答案。