[論文レビュー] Distributed Dependency Discovery

Hemant Saxena, Lukasz Golab+1 more|arXiv (Cornell University)|Mar 12, 2019

Data Quality and Management参考文献 19被引用数 5

ひとこと要約

本稿では、大規模データシステムにおける分散依存関係発見を体系的に分析・最適化するための6つの基本的プリミティブからなるフレームワークを提案する。このフレームワークは論理的設計と物理的実装を分離することで、通信コストを低減した分散フレンドリーな設計が、中心化アルゴリズムの単純な分散化と比較して、10倍以上の性能向上を達成できることを実証している。

ABSTRACT

We analyze the problem of discovering dependencies from distributed big data. Existing (non-distributed) algorithms focus on minimizing computation by pruning the search space of possible dependencies. However, distributed algorithms must also optimize communication costs, especially in shared-nothing settings, leading to a more complex optimization space. To understand this space, we introduce six primitives shared by existing dependency discovery algorithms, corresponding to data processing steps separated by communication barriers. Through case studies, we show how the primitives allow us to analyze the design space and develop communication-optimized implementations. Finally, we support our analysis with an experimental evaluation on real datasets.

研究の動機と目的

• 通信コストが著しく高い分散型の大規模データ環境において、関数的依存、一意制約、順序依存、否定依存を効率的に発見する課題に対処すること。
• 既存の依存関係発見アルゴリズムの根幹を成す、通信バリアによって分離された核心的なデータ処理ステップを同定・形式化すること。
• 論理的・物理的計画の分解を通じて、分散依存関係発見における計算と通信のトレードオフの探索空間を体系的に可能にすること。
• 中心化アルゴリズムを分散に配慮した最適化を施して再設計することで、単純な並列化と比較して顕著な性能向上が達成されることを示すこと。

提案手法

• 著者らは、通信バリアによって分離されたデータ処理ステップを表す6つの論理的プリミティブに依存関係発見アルゴリズムを分解し、計算コストと通信コストのモジュラーな分析を可能にしている。
• これらのプリミティブを用いてアルゴリズムの論理を表現する論理的発見計画（LDP）を導入し、設計と実装を分離している。
• LDPの具体的な実装を物理的発見計画（PDP）として定義し、データ分散戦略やリソース割り当ての最適化を可能にしている。
• 本フレームワークは、FastFDs や TANE といったアルゴリズムに対して、元の（中心化に由来する）LDPと分散フレンドリーなLDPの両方を用いた事例研究をサポートしている。
• 実データセットを用いたSparkクラスタ上で性能を評価し、異なる物理的実装における通信オーバーヘッドと実行時間を比較している。
• 本アプローチにより、データスケイア、パーティショニング、中間結果の削減が全体の性能に与える影響をモデル化することで、コストベースの最適化が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 既存の中心化依存関係発見アルゴリズムを、共有リソースのないクラスタ上で効率的に分散化するための体系的再構築法は何か？
• RQ2 依存関係発見アルゴリズムの単純な並列化における主な通信および計算のボトル neck は何か？
• RQ3 分散に配慮したプリミティブを用いたアルゴリズムの再設計によって、通信コストをどれほど低減でき、性能を向上できるか？
• RQ4 同じ論理的計画に対する異なる物理的実装が、さまざまなデータサイズおよびスキーマ次元数において実行時およびスケーラビリティに与える影響は何か？

主な発見

• FastFDs の分散フレンドリー版は、単純な分散ポートと比較して10倍以上の高速化を達成し、通信に配慮した設計の影響を実証した。
• ncvoter（60列）のような多数のカラムを有するデータセットでは、FastFDs は最小集合被覆空間の爆発的増大によりメモリ不足に陥ったが、HyFD や TANE はより良好にスケーリングした。
• lineitem データセット（600万行）では、TANE や HyFD が FastFDs よりも優れた性能を示し、FastFDs は48時間を超える時間を要した。これは分散環境下でのアルゴリズム選択の重要性を示している。
• ハイブリッドアルゴリズムである HyFD は、homicide および fd-reduced データセットで、データ駆動型フェーズとスキーマ駆動型フェーズを効率的に切り替えることで、全体の実行時間を短縮し、最良の性能を発揮した。
• flight データセット（109列）では、FastFDs は99秒で完了したが、HyFD はスキーマ駆動型フェーズの検証コストが高いため351秒を要した。これは、データ駆動型アルゴリズムが高次元性に伴ってより良好にスケーリングすることを示している。
• ノード数の増加に伴い、局所的に発見されたFDの精度は急激に低下し、TPC-H lineitem テーブルでノード数が10に達した段階で50％未満にまで低下した。これは、分散環境下で単純な局所的発見が信頼できないことを証明している。