[论文解读] Associative Arrays: Unified Mathematics for Spreadsheets, Databases, Matrices, and Graphs

Jeremy Kepner, Julian Chaidez+2 more|arXiv (Cornell University)|Jan 23, 2015

Advanced Database Systems and Queries参考文献 19被引用 9

一句话总结

本文提出关联数组作为统一的数学框架，用于表示和操作电子表格、数据库、矩阵和图数据。通过将数据视为由键索引的完整集合，该框架实现了无缝互操作性，减少了数据转换的开销，并可通过形式化推理实现优化，D4M系统已证明该统一框架在SQL、NoSQL和NewSQL数据库中的可行性。

ABSTRACT

Data processing systems impose multiple views on data as it is processed by the system. These views include spreadsheets, databases, matrices, and graphs. The common theme amongst these views is the need to store and operate on data as whole sets instead of as individual data elements. This work describes a common mathematical representation of these data sets (associative arrays) that applies across a wide range of applications and technologies. Associative arrays unify and simplify these different approaches for representing and manipulating data into common two-dimensional view of data. Specifically, associative arrays (1) reduce the effort required to pass data between steps in a data processing system, (2) allow steps to be interchanged with full confidence that the results will be unchanged, and (3) make it possible to recognize when steps can be simplified or eliminated. Most database system naturally support associative arrays via their tabular interfaces. The D4M implementation of associative arrays uses this feature to provide a common interface across SQL, NoSQL, and NewSQL databases.

研究动机与目标

• 将电子表格、数据库、矩阵和图等异构数据表示形式统一到单一数学模型之下。
• 降低在不同系统和表示形式之间转换数据的复杂性和开销。
• 支持对数据处理流水线的形式化推理，包括步骤重排和优化。
• 通过D4M系统为不同数据库技术（SQL、NoSQL、NewSQL）提供统一接口。
• 通过识别流水线中冗余或可消除的操作，简化数据处理流程。

提出的方法

• 将所有数据结构（电子表格、数据库、矩阵、图）表示为关联数组——基于键值对索引的二维集合。
• 使用基于集合论和代数运算（如并集、交集、连接）的统一代数框架来操作关联数组。
• 利用数据库的表格接口，原生支持在SQL、NoSQL和NewSQL系统中执行关联数组操作。
• 实现D4M（动态分布式维数据模型）系统，为关联数组操作提供统一API。
• 应用形式化数学推理，验证数据处理流水线的正确性，并支持其优化。
• 通过基于键的索引，统一支持所有数据类型的稀疏和密集数据表示。

实验结果

研究问题

• RQ1 能否通过单一数学模型统一表示电子表格、数据库、矩阵和图？
• RQ2 关联数组在多大程度上可减少在不同数据处理阶段之间进行数据转换的需求？
• RQ3 对关联数组进行形式化推理，能在多大程度上实现数据流水线中操作的安全重排或消除？
• RQ4 关联数组能否在包括SQL、NoSQL和NewSQL在内的多种数据库系统中高效实现？
• RQ5 使用关联数组作为统一抽象时，其在性能和表达能力之间存在何种权衡？

主要发现

• 关联数组提供了一个统一的数学框架，使用共同的二维键值结构对电子表格、数据库、矩阵和图进行建模。
• 使用关联数组可显著减少在处理步骤之间传递数据所需的工作量，消除类型和格式转换的开销。
• 关联数组的正式代数结构允许安全地重排操作顺序，确保不同执行顺序下结果一致。
• D4M系统成功在SQL、NoSQL和NewSQL数据库中实现了关联数组，通过统一接口展示了系统间的互操作性。
• 关联数组能够识别数据流水线中的冗余或不必要的操作，从而促进优化和简化。
• 该方法统一支持密集和稀疏数据表示，适用于包括图分析和矩阵计算在内的多样化工作负载。