[論文レビュー] AFrame: Extending DataFrames for Large-Scale Modern Data Analysis (Extended Version)

Phanwadee Sinthong, Michael J. Carey|arXiv (Cornell University)|Aug 19, 2019

Cloud Computing and Resource Management参考文献 18被引用数 4

ひとこと要約

AFrame は、分散型で管理された大規模データシステムである Apache AsterixDB に基づいて、大規模で準構造化されたデータセットにおいて効率的にスケーリングできるように DataFrames を拡張する。Pandas に似た操作を透明な並列実行、クエリ最適化、ライブデータおよび機械学習モデルのサポートとともに可能にし、手動でのデータ管理のオーバーヘッドを排除することで、JSON ベースのシステムをはるかに上回り、Parquet ベースのシステムと同等の性能を発揮する。

ABSTRACT

Analyzing the increasingly large volumes of data that are available today, possibly including the application of custom machine learning models, requires the utilization of distributed frameworks. This can result in serious productivity issues for "normal" data scientists. This paper introduces AFrame, a new scalable data analysis package powered by a Big Data management system that extends the data scientists' familiar DataFrame operations to efficiently operate on managed data at scale. AFrame is implemented as a layer on top of Apache AsterixDB, transparently scaling out the execution of DataFrame operations and machine learning model invocation through a parallel, shared-nothing big data management system. AFrame incrementally constructs SQL++ queries and leverages AsterixDB's semistructured data management facilities, user-defined function support, and live data ingestion support. In order to evaluate the proposed approach, this paper also introduces an extensible micro-benchmark for use in evaluating DataFrame performance in both single-node and distributed settings via a collection of representative analytic operations. This paper presents the architecture of AFrame, describes the underlying capabilities of AsterixDB that efficiently support modern data analytic operations, and utilizes the proposed benchmark to evaluate and compare the performance and support for large-scale data analyses provided by alternative DataFrame libraries.

研究の動機と目的

• ローカルから分散データ分析に移行する際のデータサイエンティストが直面する生産性のギャップを解消すること。
• 大規模で準構造化されたデータ上で、Pandas に似た使い慣れたセマンティクスを維持したスケールに依存しない DataFrame の体験を提供すること。
• HDFS や Spark、TensorFlow などの複数のシステムを管理する必要をなくし、それらを単一の管理されたバックエンドに統合することによって、データサイエンティストが複数のシステムを管理する必要をなくすこと。
• 単一ノードおよび分散環境の両方で DataFrame のパフォーマンスを評価するための標準的で拡張可能なマイクロベンチマークを設計すること。
• クエリ最適化とインデキシングによって、従来のメモリ内またはファイルベースのフレームワークに比べて、データベースバックエンドの DataFrame システムが、分析ワークロードで優れたパフォーマンスを発揮できることを示すこと。

提案手法

• AFrame は Apache AsterixDB の上位にレイヤーとして実装されており、DataFrame 操作を SQL++ クエリに翻訳する。
• AsterixDB が準構造化データ、ユーザー定義関数、ライブデータインジェストをサポートしていることを利用し、スケーラブルで管理された分析を可能にする。
• 遅延評価とデータベースクエリ最適化を用いて、実行時間とデータ移動を最小限に抑える。
• 分散機械学習の専門知識が不要な形で、事前に訓練済みの ML モデル（例：Scikit-Learn）を直接呼び出せる。
• 共有されない（shared-nothing）並列アーキテクチャ上で操作を透明にスケーリングし、メインメモリを超えるデータセットにおけるアウト・オブ・コア処理を可能にする。
• 提案されたマイクロベンチマークは、データ準備と式実行時間の両方を分離することで、フレームワーク間の細かいパフォーマンス比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 包括的な大規模データ管理システムに基づく DataFrame システムが、大規模な分析ワークロードで競争力のあるパフォーマンスを達成できるか？
• RQ2 管理されたクエリ最適化された DataFrame バックエンドのパフォーマンスは、Pandas や Spark などのメモリ内またはファイルベースの DataFrame システムと比べてどの程度異なるか？
• RQ3 クエリ最適化とインデキシングは、データ分析ワークフローにおけるエンドツーエンドのインサイトまでの時間にどの程度改善をもたらすか？
• RQ4 統合されたシステムは、データインジェスト、ストレージ、クエリ、機械学習の統合の複雑さをどの程度軽減できるか？
• RQ5 提案されたマイクロベンチマークは、異なる DataFrame ライブラリやワークロード間でのパフォーマンスのトレードオフをどの程度効果的に明らかにできるか？

主な発見

• AFrame は、効率的なクエリ最適化と管理されたストレージのおかげで、大規模データセットにおいて JSON ベースの DataFrame システムを1桁以上上回るパフォーマンスを発揮する。
• Spark の Parquet ベースの DataFrame は、カラム指向の圧縮と効率的なカラム指向操作のおかげで、AFrame と同等のパフォーマンスを発揮する。
• AFrame は、AsterixDB に事前にインジェストされインデックス化されたデータを活用することで、繰り返しのファイルスキャンを回避し、DataFrame の作成オーバーヘッドを削減する。
• AsterixDB のクエリオプティマイザのおかげで、特に総合評価時間において顕著なパフォーマンス向上が得られ、これは現実のインサイトまでの時間に反映される。
• ベンチマークは、パフォーマンスの差を的確に分離・定量化できており、データ準備と式実行のオーバーヘッドが、システム間で顕著に異なることが明らかになった。
• AFrame は、追加の工学的作業が不要な形で、ライブデータフィードと事前に訓練済みの ML モデルをネイティブにサポートできるため、生産性と使いやすさが向上する。