[論文レビュー] Smoke: Fine-grained Lineage at Interactive Speed

Fotis Psallidas, Eugene Wu|arXiv (Cornell University)|Jan 22, 2018

Data Visualization and Analytics参考文献 68被引用数 15

ひとこと要約

Smokeは、記録の論理的整合性を物理的データベース演算子に密接に統合することで、インタラクティブな速度での記録の履歴追跡とクエリ処理を実現する高パフォーマンスなメモリ内データベースエンジンである。書き込みに最適化された記録データ構造とワークロードに適応した最適化を用いることで、記録の履歴追跡のオーバーヘッドとクエリの遅延を複数桁低減し、インタラクティブな可視化やデータプロファイリングワークロードにおいて、最先端のシステムや手作業最適化された実装を凌駕する性能を発揮する。

ABSTRACT

Data lineage describes the relationship between individual input and output data items of a workflow, and has served as an integral ingredient for both traditional (e.g., debugging, auditing, data integration, and security) and emergent (e.g., interactive visualizations, iterative analytics, explanations, and cleaning) applications. The core, long-standing problem that lineage systems need to address---and the main focus of this paper---is to capture the relationships between input and output data items across a workflow with the goal to streamline queries over lineage. Unfortunately, current lineage systems either incur high lineage capture overheads, or lineage query processing costs, or both. As a result, applications, that in principle can express their logic declaratively in lineage terms, resort to hand-tuned implementations. To this end, we introduce Smoke, an in-memory database engine that neither lineage capture overhead nor lineage query processing needs to be compromised. To do so, Smoke introduces tight integration of the lineage capture logic into physical database operators; efficient, write-optimized lineage representations for storage; and optimizations when future lineage queries are known up-front. Our experiments on microbenchmarks and realistic workloads show that Smoke reduces the lineage capture overhead and streamlines lineage queries by multiple orders of magnitude compared to state-of-the-art alternatives. Our experiments on real-world applications highlight that Smoke can meet the latency requirements of interactive visualizations (e.g., <150ms) and outperform hand-written implementations of data profiling primitives.

研究の動機と目的

• データ記録システムにおける、低コストの記録の履歴追跡と高速な記録クエリ性能を両立させる長年の課題に取り組む。
• 性能ボトルネックのため、現在は手作業最適化されているが、低遅延の記録クエリを必要とするインタラクティブなアプリケーション（可視化やデータプロファイリングなど）を可能にする。
• 記録の履歴追跡と物理的クエリ実行を共同設計することで、記録の履歴追跡コストと記録クエリ効率のトレードオフを解消する。
• 実世界のユースケースにおいて、記録ベースの実装が手作業で最適化されたコードと同等またはそれを上回る性能を発揮することを実証する。

提案手法

• 記録の履歴追跡を物理的データベース演算子に密接に統合し、高コストのシステム境界遷移や仮想関数呼び出しを回避する。
• 記録の表現に書き込みに最適化されたメモリ内データ構造を採用し、ストレージコストと更新コストを最小限に抑える。
• 将来の記録クエリに関する事前知識を活用し、不要な記録メタデータの物的生成を回避する。
• 既知のクエリパターンに基づいて、遅延記録の履歴追跡や選択的インデックス作成などのワークロードに適応した最適化を適用する。
• 記録伝搬をネイティブにサポートする物理的代数を採用し、効率的な前向きおよび後向きの記録クエリを可能にする。
• イーガーおよびレイジィーな記録クエリ実行戦略をサポートし、インタラクティブおよびバッチワークロードに最適化されたパフォーマンスを実現する。

実験結果

リサーチクエスチョン

• RQ1 記録の履歴追跡を、クエリパフォーマンスに影響を与えることなく、インタラクティブなアプリケーションをサポートするほど効率的にできるか？
• RQ2 記録の履歴追跡を物理的データベース演算子に直接統合することで、どの程度記録の履歴追跡のオーバーヘッドを低減できるか？
• RQ3 ワークロードに適応した最適化は、不要な記録の物的生成をどの程度低減し、パフォーマンスを向上させることができるか？
• RQ4 実世界のデータプロファイリングおよび可視化タスクにおいて、記録ベースの実装が手作業で最適化されたコードと同等またはそれを上回るパフォーマンスを発揮できるか？
• RQ5 関数的依存関係の検出などの複雑な実世界ワークロードに適用した場合、記録システムのパフォーマンス特性はどのようなものか？

主な発見

• Smokeは、記録の履歴追跡のオーバーヘッドをベースラインクエリ実行コストの1.2倍未満にまで低減し、ほぼゼロのパフォーマンスペナルティを実証した。
• Smokeは、UAnswer（Metanome-UG）のような最先端のシステムを、関数的依存関係違反の検出において2～6倍の速度で上回り、より単純なSmoke-CDアプローチが全体として最も速かった。
• Smokeにおける記録クエリ処理の遅延は150ms未満に抑えられ、インタラクティブな可視化の要件を満たしている。
• Smokeのデータプロファイリングプリミティブの記録ベース実装は、手作業で最適化された実装と同等またはそれ以上のパフォーマンスを発揮した。
• 事前知識に基づくクエリの理解により、Smokeは関係のない記録の物的生成を回避でき、ストレージコストと実行時コストの両方を顕著に低減した。
• Smokeの物理的代数と書き込みに最適化された記録構造により、既存のシステムと比較して、記録クエリパフォーマンスに複数桁の向上が達成された。