[论文解读] Lara: A Key-Value Algebra underlying Arrays and Relations

David Hutchison, Bill Howe+1 more|arXiv (Cornell University)|Apr 12, 2016

Advanced Database Systems and Queries参考文献 3被引用 4

一句话总结

Lara 是一种统一的键值代数，通过关联表、并集、连接和扩展操作，将数组、关系、图和键值存储统一为单一形式化体系。它通过提供具有已证明恒等式和等价性的通用代数基础，实现了异构数据处理系统之间的无缝转换与优化。

ABSTRACT

Data processing systems roughly group into families such as relational, array, graph, and key-value. Many data processing tasks exceed the capabilities of any one family, require data stored across families, or run faster when partitioned onto multiple families. Discovering ways to execute computation among multiple available systems, let alone discovering an optimal execution plan, is challenging given semantic differences between disparate families of systems. In this paper we introduce a new algebra, Lara, which underlies and unifies algebras representing the families above in order to facilitate translation between systems. We describe the operations and objects of Lara---union, join, and ext on associative tables---and show her properties and equivalences to other algebras. Multi-system optimization has a bright future, in which we proffer Lara for the role of universal connector.

研究动机与目标

• 解决在缺乏语义互操作性的异构数据处理系统（如关系型、数组型、图型、文件系统）之间执行计算的挑战。
• 提供一个通用代数基础，以实现跨多个系统家族的负载转换与优化。
• 通过统一数组、关系、图和键值存储的逻辑表示，实现多系统优化。
• 通过形式化等价性与恒等式，促进在异构系统间构建高效执行计划。
• 通过提供简洁、可组合的语言基础，支持实际应用，适用于查询语言和领域特定语言（DSL）的构建。

提出的方法

• 将关联表定义为核心数据结构，其中键映射到值域 V 中的值，支持（supp）表示非默认键。
• 引入三种原语操作：并集（⊕）用于垂直连接并求和，严格连接（⋈⊗）用于水平连接并相乘，扩展（extf）用于函数应用。
• 支持宽松连接（⋈），通过自动提升和缺失值的乘以一操作，实现对稀疏数据的稳健处理。
• 使用代数性质形式化操作：并集作为求和，连接作为乘积，ext 作为广义映射，并包含恒等式与分配律。
• 证明 Lara 操作与关系代数、数组代数（如 CombBLAS）以及离散卷积操作之间的等价性。
• 提供操作组合的语法与语义，包括重命名、投影，以及适用于实际应用的递归或迭代结构。

实验结果

研究问题

• RQ1 能否通过单一统一的代数框架表达并关联数组、关系、图和键值存储的核心操作？
• RQ2 如何在 Lara 操作与关系型、数组型及图处理系统中的操作之间建立代数恒等式与等价性？
• RQ3 Lara 在多系统间实现优化与转换方面的能力在多大程度上得以实现？
• RQ4 Lara 操作的正式属性（如分配律、结合律）在支持执行计划优化方面起到何种作用？
• RQ5 如何通过添加实用语言特性（如列表推导、变量赋值、递归）扩展 Lara，以支持现实世界中的查询与算法编写？

主要发现

• Lara 通过关联表成功将关系型、数组型、图型和键值型处理统一在一个单一代数框架下。
• 本文建立了 Lara 操作与关系代数（如广义除法、外连接）、数组代数（如 CombBLAS）以及离散卷积操作之间的正式等价性。
• 通过自动提升和缺失值乘以一的宽松连接机制，实现了对稀疏数据的稳健处理，并支持在多系统环境中高效执行。
• 该代数支持分配律，例如在特定条件下可将连接对并集进行分配，从而通过代数重写实现优化。
• 通过一个具体示例展示了使用 Lara 操作实现的 2-移动和卷积，验证了其正确性与多步组合能力。
• 该框架具有可扩展性：可通过添加列表推导、变量赋值和递归等扩展，支持实际查询与算法编写。