[論文レビュー] Spreadsheets for Stream Partitions and Windows

Martin Hirzel, Rodric Rabbah+3 more|arXiv (Cornell University)|Mar 13, 2015

Advanced Database Systems and Queries参考文献 2被引用数 3

ひとこと要約

この論文は、ストリーミング処理オペレータの効率的なプログラミングを可能にするために、スプレッドシートに新しい関数「WINDOW」と「PARTITION」を拡張することを提案している。これらの拡張により、可変サイズのウィンドウやキーに基づくデータパーティショニングに対する反応性があり状態のない計算が可能となり、ドメインエキスパートが低レベルのコーディングを必要とせずに、直接スプレッドシート内でスケーラブルでリアルタイムのストーミングアプリケーションを構築できるようになる。

ABSTRACT

We discuss the suitability of spreadsheet processors as tools for programming streaming systems. We argue that, while spreadsheets can function as powerful models for stream operators, their fundamental boundedness limits their scope of application. We propose two extensions to the spreadsheet model and argue their utility in the context of programming streaming systems.

研究の動機と目的

• 無限大で高ボリュームのストリーミングデータを処理する伝統的なスプレッドシートの限界を解消し、ストリーム固有の操作をサポートするようにモデルを拡張すること。
• スプレッドシートに精通しているが、低レベルのストリーミングプログラミングに不慣れなドメインエキスパートが、独立してストリーミングオペレータを開発・デプロイできるようにすること。
• スプレッドシートのバウンデッドな性質が、ストリーミングワークロードにおけるウィンドウ処理やパーティショニングの表現力を制限するのを回避すること。
• スケーラブルでインクリメンタルな計算を動的データストリーム上で可能にしつつ、スプレッドシートの反応性・状態なし・組み合わせ可能な性質を維持すること。

提案手法

• 1つのセルが動的値のリスト（例：直近60秒分の取引）を保持できる新しいWINDOW関数を導入し、SUM、AVERAGE、COUNTなどの集計関数に渡すことができる。
• 新しい値がウィンドウに追加されたときにのみ再計算をトリガーすることで、反応性を確保し、応答性とパフォーマンスを維持する。
• 非集計関数を拒否することで型安全性を強制し、不正な使用を防ぎ、予測可能な意味論を保証するようにWINDOW関数を設計する。
• SELECTに似た動作を示すが、各異なるキー（例：株式ティッカー）ごとに別々で隔離された計算インスタンスを生成するPARTITION関数を導入し、コードの重複なしにキーごとの処理を可能にする。
• スプレッドシート内のすべてのPARTITION関数でキーの一貫性を強制することで、意味論的な不整合を防ぎ、効率的でスケーラブルな実行をサポートする。
• 拡張モデルをActiveSheetsに統合し、Microsoft Excelベースのプラットフォームで、スプレッドシートの論理をIBM InfoSphere Streams用のSPLオペレータにエクスポートする。

実験結果

リサーチクエスチョン

• RQ1 可変サイズのウィンドウを用いたリアルタイムのストーミング処理ワークロードを、スプレッドシートで効果的にモデル化・実行できるか？
• RQ2 スプレッドシート内でキーに基づくパーティショニングをどのようにモデル化すれば、コードの重複なしにキーごとの計算を可能にできるか？
• RQ3 無限大のデータストリーム上で反応性・インクリメンタルな計算を可能にするために、スプレッドシートモデルに必要な拡張は何か？
• RQ4 ウィンドウ処理やパーティショニングといった複雑なストリーミング操作を可能にしつつ、スプレッドシートの反応性と状態なしの意味論を維持できるか？
• RQ5 ドメインエキスパートが低レベルプログラミングや外部の調整を一切行わず、スプレッドシートインターフェースのみでスケーラブルなストーミングアプリケーションを開発・デプロイできる範囲はどの程度か？

主な発見

• WINDOW関数により、セルが動的値のリストを保持できるため、例えば「直近1分間のデータ」といった可変サイズのウィンドウを自然かつ効率的にモデル化できる。新しい入力があると再計算がトリガーされる。
• SUMやAVERAGEといった集計関数は、新しい値がウィンドウに追加された際にインクリメンタルに更新できるため、パフォーマンスと応答性を維持できる。
• PARTITION関数により、1つのキー（例：1つの株式コード）に対して定義された計算が、データストリーム内の異なるキーごとに自動的に複製される。
• PARTITION関数間でキーの一貫性を要求することで、正しさが保証され、実行時の競合が生じない効率的でスケーラブルな実行が可能になる。
• これらの拡張により、スプレッドシートの反応性・状態なし・組み合わせ可能な性質が維持され、ドメインエキスパートがExcel上で複雑なストーミングオペレータを直接構築・エクスポートできる。
• このアプローチにより、VWAPベースの安値検出などの柔軟で再利用可能なストーミング論理を、低レベルプログラミングや外部連携を一切必要とせずに迅速に開発できる。