[论文解读] AI Data Wrangling with Associative Arrays

Jeremy Kepner, Vijay Gadepally+3 more|arXiv (Cornell University)|Jan 18, 2020

Graph Theory and Algorithms参考文献 13被引用 4

一句话总结

本文提出关联数组代数作为一种统一的数学框架，用于人工智能数据整理，通过将数据操作建模为具有结合律和分配律等严格代数性质的线性、半环系统，实现对关系型数据库、JSON/XML 和电子表格等多样化数据格式之间的无缝转换与优化。核心贡献在于建立了一个形式化基础，自然支持透视表、神经网络计算以及人工智能流水线中跨格式的互操作性。

ABSTRACT

The AI revolution is data driven. AI "data wrangling" is the process by which unusable data is transformed to support AI algorithm development (training) and deployment (inference). Significant time is devoted to translating diverse data representations supporting the many query and analysis steps found in an AI pipeline. Rigorous mathematical representations of these data enables data translation and analysis optimization within and across steps. Associative array algebra provides a mathematical foundation that naturally describes the tabular structures and set mathematics that are the basis of databases. Likewise, the matrix operations and corresponding inference/training calculations used by neural networks are also well described by associative arrays. More surprisingly, a general denormalized form of hierarchical formats, such as XML and JSON, can be readily constructed. Finally, pivot tables, which are among the most widely used data analysis tools, naturally emerge from associative array constructors. A common foundation in associative arrays provides interoperability guarantees, proving that their operations are linear systems with rigorous mathematical properties, such as, associativity, commutativity, and distributivity that are critical to reordering optimizations.

研究动机与目标

• 为应对人工智能流水线中日益严峻的数据异构性挑战，即不同数据格式在步骤间需进行大量转换。
• 将关系型、层次型（JSON/XML）和表格型（电子表格）等异构数据表示统一于单一数学模型之下。
• 通过结合律、交换律和分配律等严格的代数性质，实现对数据工作流的优化。
• 证明透视表和神经网络操作可自然地从关联数组构造器中衍生而出。
• 为人工智能系统中多存储和多模型数据库之间的互操作性提供形式化基础。

提出的方法

• 将数据建模为关联数组，将键元组（行键和列键）映射到半环中的值，从而推广集合和矩阵运算。
• 使用三种核心操作：逐元素加法（并集）、逐元素乘法（交集）和数组乘法（转换），每种操作对应标准数据操作。
• 通过遍历和键值三元组输出，将层次化数据（如 JSON、XML）表示为非规范化稀疏关联数组。
• 利用半环性质（如结合律、交换律和分配律）实现数据流水线中操作顺序的重排优化。
• 将电子表格操作（如透视表、并集、连接）直接映射到关联数组构造器，展示其在形式化体系中的自然衍生。
• 通过将训练数据向量、神经网络权重和推理计算建模为关联数组操作，将该框架应用于人工智能流水线。

实验结果

研究问题

• RQ1 如何通过单一数学框架统一人工智能流水线中使用的多样化数据表示，包括关系型、层次型和表格型格式？
• RQ2 标准数据操作（如连接、并集和透视）在多大程度上可自然地从关联数组代数中衍生而出？
• RQ3 是否可以利用关联数组的代数性质（如结合律、分配律）对人工智能流水线中的数据整理工作流进行优化？
• RQ4 层次化数据格式（如 JSON 和 XML）如何系统性地转换为适用于人工智能模型训练和推理的形式？
• RQ5 关联数组在多大程度上可作为数据库操作与神经网络计算的通用基础？

主要发现

• 关联数组代数提供了一个统一的数学基础，通过共同的半环结构自然建模关系型数据库、NoSQL 格式和神经网络操作。
• 透视表作为主流数据分析工具，被证明可直接从关联数组构造器中衍生，验证了其在数据转换中的形式化基础。
• 该框架通过结合律、交换律和分配律等严格的代数性质，实现对数据工作流的优化，支持操作的安全重排。
• 通过遍历，可系统性地将 JSON 和 XML 等层次化数据格式转换为稀疏关联数组，使其适用于人工智能流水线。
• 神经网络中的矩阵运算和数据库中的集合运算均为关联数组运算的特例，体现了其广泛适用性。
• 半环的使用允许灵活选择操作（如最大-加法、最小-加法），使同一形式化体系可建模多样化的 AI 和金融工作负载。