[論文レビュー] One SQL to Rule Them All

Edmon Begoli, Tyler Akidau+4 more|arXiv (Cornell University)|May 28, 2019

Advanced Database Systems and Queries参考文献 26被引用数 7

ひとこと要約

この論文では、時間的変化を伴う関係、イベント時刻の意味論、制御された物化を用いて、ストリーミングデータとリレーショナルデータの両方を統合的に管理するSQLフレームワークを提案する。標準SQLに最小限で、構文的に自然な拡張（例：EMIT AFTER DELAY および EMIT AFTER WATERMARK）を加えることで、ストリーム上でも完全なSQL機能を実現するとともに、正しいイベント時刻の振る舞いを備えた堅牢で柔軟かつ効率的なリアルタイム処理を可能にする。

ABSTRACT

Real-time data analysis and management are increasingly critical for today`s businesses. SQL is the de facto lingua franca for these endeavors, yet support for robust streaming analysis and management with SQL remains limited. Many approaches restrict semantics to a reduced subset of features and/or require a suite of non-standard constructs. Additionally, use of event timestamps to provide native support for analyzing events according to when they actually occurred is not pervasive, and often comes with important limitations. We present a three-part proposal for integrating robust streaming into the SQL standard, namely: (1) time-varying relations as a foundation for classical tables as well as streaming data, (2) event time semantics, (3) a limited set of optional keyword extensions to control the materialization of time-varying query results. Motivated and illustrated using examples and lessons learned from implementations in Apache Calcite, Apache Flink, and Apache Beam, we show how with these minimal additions it is possible to utilize the complete suite of standard SQL semantics to perform robust stream processing.

研究の動機と目的

• 開発者の生産性とシステムの一貫性を向上させるために、ストリーム処理とテーブル処理を単一で一貫性のあるSQL意味論で統合すること。
• 標準SQL演算子との互換性を損なわせることなく、SQLで堅牢なイベント時刻処理を可能にすること。
• ストリーミング環境におけるクエリ結果の物化方法とタイミングを制御するための最小限で拡張可能な拡張を提供すること。
• 遅延到着イベント、定期的更新、変更ログストリームなど、実世界のユースケースを標準化されたSQL拡張によってサポートすること。
• Apache Flink、Beam、Calciteの実装から得られる実践的知見を、SQL標準化作業に情報提供すること。

提案手法

• 時間的変化を伴う関係を基本概念として導入し、関係が時間とともに変化し、時間から関係への関数として扱えるようにする。
• イベント時刻の意味論を提案し、SQLを拡張してイベントに関連付けられたタイムス탬プをネイティブに処理可能にすることで、順不同データの正しい処理を可能にする。
• EMIT AFTER DELAY および EMIT AFTER WATERMARK をオプションキーワードとして導入し、結果の物化頻度およびタイミングを制御する。
• 変更ログ（更新のストリーム）として出力をレンダリングできる仕組みを提供することで、ストリームの物化を可能にし、再帰的ストリーミングクエリを実現する。
• 定期的およびウォーターマークトリガーによる発行をサポートする柔軟な物化制御モデルを定義し、お知らせや高スルーレート集計などのユースケースを可能にする。
• ポイントワイズ適用により、時間的変化を伴う関係上で既存のSQL演算子（例：JOIN、GROUP BY、WINDOW）をそのまま利用可能にし、完全なSQL表現力を維持する。

実験結果

リサーチクエスチョン

• RQ1 標準SQLをどのように拡張すれば、関係的意味論を損なわずにストリーミングデータをネイティブにサポートできるか？
• RQ2 SQLで正しいかつ効率的なイベント時刻処理を実現するために、最小限でどの程度の構文的拡張が必要か？
• RQ3 ストリーミングクエリ結果の物化をどのように制御すれば、お知らせや高スルーレート集計といった多様なユースケースをサポートできるか？
• RQ4 時間的変化を伴う関係は、バッチ処理とストリーミング処理の両方の統合的基盤として機能できるか？
• RQ5 SQLをどのように拡張すれば、ストリーミング文脈においてカスタムウィンドウロジックや関連時間的テーブルへのアクセスを可能にできるか？

主な発見

• 提案された拡張により、時間的変化を伴う関係に対して完全な標準SQL演算子を適用可能となり、意味論的制限なしに一貫性があり強力なストリーミング処理が可能になる。
• イベント時刻の意味論は時間的変化を伴う関係を通じてネイティブにサポートされ、順不同イベントや遅延データの正しい処理が可能になる。
• EMIT AFTER DELAY や EMIT AFTER WATERMARK といった物化制御により、効率的で予測可能かつ柔軟な結果発行が可能になり、リアルタイム処理とバッチ処理に類似したパターンを両立できる。
• BeamおよびFlinkの実装で示されたように、部分結果の定期的更新や、タイムリー／遅延した行の発行といった複雑なユースケースをサポートする。
• ストリーム出力を入力ストリームとして再利用できるため、再帰的ストリーミングクエリが可能になり、ストリーミングシステムにおけるSQLの表現力を拡張する。
• 最小限で構文的に自然なSQL拡張が、バッチ処理とストリーミング処理を統合しつつ、既存のSQL標準およびツールチェーンとの互換性を維持できることを著者らが実証した。