[論文レビュー] Dot-Product Join: An Array-Relation Join Operator for Big Model Analytics

Chengjie Qin, Florin Rusu|arXiv (Cornell University)|Feb 29, 2016

Graph Theory and Algorithms参考文献 43被引用数 4

ひとこと要約

この論文では、主記憶を超える大規模な機械学習モデルの学習に適した、スパース配列と密行列のドット積演算を効率的に行う新しいデータベース演算子「ドット積ジョイン」を紹介する。動的バッチ処理と配列再順序付けヒューリスティクス（LSH、Radix、K-center）を組み合わせることで、I/Oオーバーヘッドを低減し、代替のインメモリデータベースソリューションよりも最大10倍速い実行を達成する。これにより、補助記憶装置上でのスケーラブルなビッグモデル分析が可能になる。

ABSTRACT

Big Model analytics tackles the training of massive models that go beyond the available memory of a single computing device, e.g., CPU or GPU. It generalizes Big Data analytics which is targeted at how to train memory-resident models over out-of-memory training data. In this paper, we propose an in-database solution for Big Model analytics. We identify dot-product as the primary operation for training generalized linear models and introduce the first array-relation dot-product join database operator between a set of sparse arrays and a dense relation. This is a constrained formulation of the extensively studied sparse matrix vector multiplication (SpMV) kernel. The paramount challenge in designing the dot-product join operator is how to optimally schedule access to the dense relation based on the non-contiguous entries in the sparse arrays. We prove that this problem is NP-hard and propose a practical solution characterized by two technical contributions---dynamic batch processing and array reordering. We devise three heuristics -- LSH, Radix, and K-center -- for array reordering and analyze them thoroughly. We execute extensive experiments over synthetic and real data that confirm the minimal overhead the operator incurs when sufficient memory is available and the graceful degradation it suffers as memory becomes scarce. Moreover, dot-product join achieves an order of magnitude reduction in execution time over alternative in-database solutions.

研究の動機と目的

• 主記憶容量を超える大規模な機械学習モデルの学習に直面する課題に対処すること、特にインメモリデータベース分析システムにおける課題に焦点を当てる。
• 一般化線形モデルのコアな演算である、スパース配列と密行列の間のドット積を効率的に計算するデータベース演算子を設計すること。
• 非連続なスパース配列エントリが存在する状況において、補助記憶装置のI/Oアクセスを最小限に抑えること。これは、主記憶が限られた環境において性能に大きな影響を与える。
• 中間結果の物性化を回避するスケーラブルな、インメモリデータベースソリューションを提供すること。これは、従来の配列演算子やジョイン演算子とは異なり、中間結果を一時的に保存しない。
• 主記憶を超えるベクトルに対して、効率的なSpMVカーネルの実行を可能とし、データベースシステムの適用範囲を大規模な機械学習に拡張すること。

提案手法

• スパース配列と密行列の間のドット積を1回の最適化された操作で計算する物理的データベース演算子として、ドット積ジョイン演算子を提案する。
• 複数のドット積演算を大きなI/O効率の良いバッチにグループ化することで、補助記憶へのアクセス回数を削減する動的バッチ処理を導入する。
• スパース配列エントリを再順序付けすることで空間的局所性を向上させ、ベクトルアクセス時のランダムI/Oを低減するヒューリスティクス（LSH、Radix、K-center）を採用する。
• スパース行列-ベクトル乗算（SpMV）カーネルを制約付きジョイン操作に再定式化し、中間結果の物性化を回避するために集約処理をジョイン内に押し込む。
• ドット積ジョインの最適なアクセススケジューリングがNP困難であることを証明し、ヒューリスティックに基づく最適化戦略の採用を正当化する。
• 密ベクトルを補助記憶に保存するハイブリッドストレージモデルを採用。スパース配列は主記憶で処理し、I/Oに配慮したスケジューリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 主記憶を超えるモデルベクトルを持つ大規模なモデル学習において、スパース配列と密行列のドット積を効率的に計算できるデータベース演算子を設計できるか？
• RQ2 補助記憶ベクトルに対して非連続なスパース配列エントリを処理する際、アクセススケジューリングがI/Oパフォーマンスに与える影響は何か？
• RQ3 LSH、Radix、K-centerの3つの配列再順序付けヒューリスティクスは、ドット積ジョインにおけるI/O削減と実行時間の観点で、どのように比較されるか？
• RQ4 主記憶が限られた状況において、ドット積ジョイン演算子のパフォーマンスはどのように低下するか？また、他のインメモリデータベースソリューションと比較してどうか？
• RQ5 ドット積ジョイン演算子は、ロジスティック回帰の勾配降下や低ランク行列分解を越えて、他のSpMVワークロードにも一般化可能か？

主な発見

• ドット積ジョイン演算子は、代替のインメモリデータベースソリューションと比較して、実行時間のオーダー10倍の短縮を達成する。
• 主記憶が限られた状況においても、効果的なI/O最適化により、性能の劣化をなだらかに抑え、スムーズに動作を維持する。
• 3つの再順序付けヒューリスティクスの中で、Radix再順序付けが最も優れたスケーラビリティとパフォーマンスを示し、基本的なLRUベースのアクセス戦略を著しく上回る。
• 動的バッチ処理により、複数のドット積演算を大きな連続I/Oに統合することで、補助記憶へのアクセス回数を効果的に削減する。
• ドット積ジョイン演算子は、補助記憶からベクトルに効率的にアクセスできる最初のSpMVカーネルであり、主記憶を超えるモデルのアウト・オブ・コア計算を可能にする。
• 中間結果の物性化を完全に排除するため、従来の配列ジョインやUDFベースのアプローチよりも効率的である。