[論文レビュー] Associative Arrays: Unified Mathematics for Spreadsheets, Databases, Matrices, and Graphs

Jeremy Kepner, Julian Chaidez+2 more|arXiv (Cornell University)|Jan 23, 2015

Advanced Database Systems and Queries参考文献 19被引用数 9

ひとこと要約

本論文は、スプレッドシート、データベース、行列、グラフの間でデータを統一的に表現・操作するための数学的枠組みとして、関連配列（associative arrays）を提案する。データをキーでインデックス付けされた集合として扱うことで、相互運用性を円滑にし、データ変換のオーバーヘッドを低減するとともに、形式的推論による最適化を可能にする。D4Mシステムは、SQL、NoSQL、NewSQLデータベースのすべてにおいてこの統一を実証している。

ABSTRACT

Data processing systems impose multiple views on data as it is processed by the system. These views include spreadsheets, databases, matrices, and graphs. The common theme amongst these views is the need to store and operate on data as whole sets instead of as individual data elements. This work describes a common mathematical representation of these data sets (associative arrays) that applies across a wide range of applications and technologies. Associative arrays unify and simplify these different approaches for representing and manipulating data into common two-dimensional view of data. Specifically, associative arrays (1) reduce the effort required to pass data between steps in a data processing system, (2) allow steps to be interchanged with full confidence that the results will be unchanged, and (3) make it possible to recognize when steps can be simplified or eliminated. Most database system naturally support associative arrays via their tabular interfaces. The D4M implementation of associative arrays uses this feature to provide a common interface across SQL, NoSQL, and NewSQL databases.

研究の動機と目的

• スプレッドシート、データベース、行列、グラフといった異なるデータ表現を、単一の数学的モデルで統合すること。
• 異なるシステムや表現形式の間でデータを変換する際の複雑さとオーバーヘッドを低減すること。
• データ処理パイプライン（段階の再順序化や最適化を含む）についての形式的推論を可能にすること。
• D4Mシステムを通じて、SQL、NoSQL、NewSQLといった多様なデータベース技術に共通インターフェースを提供すること。
• パイプライン内の重複している、あるいは不要な演算を特定できるようにすることで、データ処理を簡素化すること。

提案手法

• スプレッドシート、データベース、行列、グラフといったすべてのデータ構造を、キー値ペアでインデックス付けされた関連配列として表現する。
• 集合論的および代数的演算（例：和集合、共通部分、結合）に基づく共通の代数的枠組みを用いて、関連配列を操作する。
• データベースの表形式インターフェースを活用し、SQL、NoSQL、NewSQLシステムのすべてで関連配列操作をネイティブにサポートする。
• 関連配列操作のための統一APIを提供するD4M（Dynamic Distributed Dimensional Data Model）システムを実装する。
• 形式的数学的推論を適用して、データ処理パイプラインの正しさを検証し、最適化を可能にする。
• キーに基づくインデックス付けを活用し、すべてのデータ型においてスパースおよび密度の高いデータ表現を一様にサポートする。

実験結果

リサーチクエスチョン

• RQ1 単一の数学的モデルが、スプレッドシート、データベース、行列、グラフの表現を統一できるか？
• RQ2 関連配列を用いることで、異なるデータ処理段階間でのデータ変換の必要性をどの程度低減できるか？
• RQ3 関連配列に対する形式的推論により、データパイプラインにおける演算の安全な再順序化や削除がどの程度可能になるか？
• RQ4 関連配列をSQL、NoSQL、NewSQLを含む多様なデータベースシステムに効率的に実装できるか？
• RQ5 関連配列を統一抽象化として用いる際のパフォーマンスと表現力のトレードオフは何か？

主な発見

• 関連配列は、スプレッドシート、データベース、行列、グラフをすべて、共通の2次元キー値構造を用いた統一された数学的枠組みとしてモデル化する。
• 関連配列の使用により、処理ステップ間でのデータ伝達に要する作業が、型やフォーマット変換の削除によって大幅に軽減される。
• 関連配列の形式的代数的構造のおかげで、異なる実行順序でも同一の結果が保証されるため、演算の安全な再順序化が可能になる。
• D4Mシステムは、SQL、NoSQL、NewSQLデータベースのすべてにおいて関連配列を実装し、共通インターフェースを通じた相互運用性を実証した。
• 関連配列は、パイプライン内の重複している、あるいは不要な演算を特定できるようになり、最適化や簡素化を促進する。
• このアプローチは、密度の高いデータとスパースデータの両方を一様にサポートでき、グラフ解析や行列計算を含む多様なワークロードに適している。