[論文レビュー] AI Data Wrangling with Associative Arrays

Jeremy Kepner, Vijay Gadepally+3 more|arXiv (Cornell University)|Jan 18, 2020

Graph Theory and Algorithms参考文献 13被引用数 4

ひとこと要約

本稿では、AIデータのグルーピングを統一的な数学的枠組みとして、関連配列代数を提案する。これにより、リレーショナルデータベース、JSON/XML、スプレッドシートなどの多様なデータ形式間で、結合的および分配的といった厳密な代数的性質を持つ線形的・半環に基づくシステムとしてのデータ操作を、滑らかに変換・最適化できる。主な貢献は、ピボットテーブル、ニューラルネットワーク計算、AIパイプラインにおけるフォーマット間相互運用性を自然にサポートする形式的基盤を提供することである。

ABSTRACT

The AI revolution is data driven. AI "data wrangling" is the process by which unusable data is transformed to support AI algorithm development (training) and deployment (inference). Significant time is devoted to translating diverse data representations supporting the many query and analysis steps found in an AI pipeline. Rigorous mathematical representations of these data enables data translation and analysis optimization within and across steps. Associative array algebra provides a mathematical foundation that naturally describes the tabular structures and set mathematics that are the basis of databases. Likewise, the matrix operations and corresponding inference/training calculations used by neural networks are also well described by associative arrays. More surprisingly, a general denormalized form of hierarchical formats, such as XML and JSON, can be readily constructed. Finally, pivot tables, which are among the most widely used data analysis tools, naturally emerge from associative array constructors. A common foundation in associative arrays provides interoperability guarantees, proving that their operations are linear systems with rigorous mathematical properties, such as, associativity, commutativity, and distributivity that are critical to reordering optimizations.

研究の動機と目的

• AIパイプラインにおけるデータの多様性が増す中で、異なるデータ形式間の変換作業が増大する課題に対処すること。
• リレーショナル、階層的（JSON/XML）、および表形式（スプレッドシート）といった異なるデータ表現を、単一の数学的モデルで統合すること。
• 結合的、可換、分配的といった厳密な代数的性質（例：結合的、可換、分配的）を活用して、データワークフローの最適化を可能にすること。
• ピボットテーブルやニューラルネットワーク演算が、関連配列コンストラクタから自然に導かれることが示されること。
• AIシステムにおけるポリストアおよびマルチモデルデータベース間の相互運用性のための形式的基盤を提供すること。

提案手法

• キーのタプル（行および列のキー）を値にマッピングする関連配列としてデータをモデル化し、半環における値を用いることで、集合および行列演算の一般化を可能にする。
• 3つの基本操作を用いる：要素ごとの加算（ユニオン）、要素ごとの乗算（インターセクション）、配列乗算（変換）。それぞれが標準的なデータ操作に対応する。
• 階層的データ（例：JSON、XML）を、走査とキー・値・三元組の出力によって正規化されていないスパースな関連配列として表現する。
• 結合的、可換、分配的といった半環の性質を活用して、データパイプラインにおける演算の再順序化最適化を可能にする。
• スプレッドシート操作（例：ピボットテーブル、ユニオン、ジョイン）を直接関連配列コンストラクタにマッピングし、形式的枠組みから自然に導かれることが示される。
• 学習データのベクトル、ニューラルネットワークの重み、推論計算をすべて関連配列操作としてモデル化することで、AIパイプラインへの適用を実施する。

実験結果

リサーチクエスチョン

• RQ1 AIパイプラインで使用されるリレーショナル、階層的、表形式のデータ表現を統一するための単一の数学的枠組みをどのように構築できるか？
• RQ2 ジョイン、ユニオン、ピボットといった標準的なデータ操作が、関連配列代数からどのように自然に導かれるか？
• RQ3 関連配列の代数的性質（例：結合的、分配的）を活用して、AIパイプラインにおけるデータグルーピングワークフローの最適化が可能か？
• RQ4 JSON や XML といった階層的データフォーマットを、AIモデルの学習および推論に適合する形式に体系的に変換する方法は何か？
• RQ5 関連配列が、データベース操作とニューラルネットワーク計算の両方のための普遍的基盤としてどれほど有効に機能できるか？

主な発見

• 関連配列代数は、共通の半環構造を用いることで、リレーショナルデータベース、NoSQLフォーマット、ニューラルネットワーク演算を自然にモデル化する統一的な数学的基盤を提供する。
• 主要なデータ分析ツールの一つであるピボットテーブルが、関連配列コンストラクタから直接導かれることが示され、データ変換における形式的基盤の妥当性が裏付けられる。
• 結合的、可換、分配的といった厳密な代数的性質を活用することで、データワークフローの最適化が可能となり、演算の安全な再順序化が可能になる。
• JSON や XML といった階層的データフォーマットは、走査によって体系的にスパースな関連配列に変換可能であり、これによりAIパイプラインでの利用が可能になる。
• ニューラルネットワークにおける行列演算と、データベースにおける集合演算は、両方とも関連配列演算の特殊ケースであることが示され、広範な適用可能性が確認された。
• 半環の使用により、操作の選択が柔軟に可能（例：max-plus、min-plus）となり、同じ形式的枠組み内で多様なAIおよびファイナンスワークロードをモデル化できる。