[論文レビュー] Serverless Data Analytics with Flint

Youngbin Kim, Jimmy Lin|arXiv (Cornell University)|Mar 16, 2018

Cloud Computing and Resource Management参考文献 5被引用数 5

ひとこと要約

Flintは、AWS LambdaとSQSを活用して、待機コストを排除する完全なサーバessなSpark実行エンジンであり、PySparkジョブを完全にサーバーレス関数で実行し、データシャッフルをメッセージキューにオフロードすることで、使用料金のみの支払いモデルを実現する。主な貢献は、永続的なインfraストラクチャを必要とせず、透明なSpark互換性を持つ完全なサーバーレス分析処理の実現を示したことである。

ABSTRACT

Serverless architectures organized around loosely-coupled function invocations represent an emerging design for many applications. Recent work mostly focuses on user-facing products and event-driven processing pipelines. In this paper, we explore a completely different part of the application space and examine the feasibility of analytical processing on big data using a serverless architecture. We present Flint, a prototype Spark execution engine that takes advantage of AWS Lambda to provide a pure pay-as-you-go cost model. With Flint, a developer uses PySpark exactly as before, but without needing an actual Spark cluster. We describe the design, implementation, and performance of Flint, along with the challenges associated with serverless analytics.

研究の動機と目的

• 従来のSparkクラスタで一般的な待機インfraストラクチャコストを回避する、純粋な使用料金制の広範なコストモデルによるアドホックおよび探索的データ分析を可能にすること。
• 状態なしの関数が永続ストレージを保持できないサーバーレス環境において、データシャッフルを実装する課題に対処すること。
• 既存のSparkコンponentとプラグイン可能なSchedulerBackendを再利用することで、クラスタ管理なしにPySparkをそのまま使用できる透明なSpark体験を提供すること。
• 通常のイベント駆動型サーバーレスユースケースとは顕著に異なる分析ワークロードに適したサーバーレスアーキテクチャの実現可能性を調査すること。
• サーバーレス実行が、単純なイベント処理をはるかに超える複雑でデータ集約的なワークロード（例：データサイエンス分野のもの）をサポートできることを実証すること。

提案手法

• SparkタスクをAWS Lambda関数にマップするカスタムSchedulerBackendを実装し、RDD操作のサーバーレス実行を可能にする。
• 中間データシャッフルを管理するためにAmazon Simple Queue Service (SQS) を使用し、従来のメモリ内またはディスクベースのシャッフルに代わる。
• 入力および出力データをAmazon S3に格納し、分析ワークロードの永続的データストレージとしてその耐久性とスケーラビリティを活用する。
• DAGスケジューラーやタスクスケジューラーなどの既存のSparkコンponentを再利用することで、広範なSparkエコシステムとの互換性を維持する。
• SQSにデータ移動と調整をオフロードし、少なくとも一度の配信保証を備えた信頼性が高くスケーラブルなメッセージキューイングを提供する。
• 永続的なデーモンや長時間実行されるサービスを一切排除することで、待機コストゼロで完全なサーバーレス準拠を実現する。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスアーキテクチャは、単純なイベント駆動関数をはるかに超える複雑でデータ集約的な分析ワークロード（例：Sparkのもの）を効果的にサポートできるか？
• RQ2 状態なしの関数が使用されるサーバーレス環境において、groupBy や join のような変換に不可欠なデータシャッフルを、効率的かつ信頼性高く実装する方法は何か？
• RQ3 従来のSparkクラスタと比較して、サーバーレス関数とメッセージキューを用いる分析処理におけるパフォーマンスとコストのトレードオフはどのようなものか？
• RQ4 既存のSparkライブラリ（例：MLlib、SparkSQL）を、サーバーレス実行バックエンドとどれだけ互換性を持たせられるか？
• RQ5 パフォーマンスや信頼性を損なわず、分析ワークロードにおいて純粋な使用料金制のモデルを達成できるか？

主な発見

• Flintは、サーバーレスアーキテクチャが、複雑なRDD変換やデータシャッフルを含む大規模なSpark分析ワークロードをサポートできることを成功裏に実証した。
• 中間データのシャッフルにSQSを使用することで、永続ストレージや長時間実行プロセスを必要とせず、スケーラブルかつ状態なしのデータ移動が可能になった。
• 実行は関数の呼び出し回数とデータ転送量にのみ課金されるため、インスタンス時間単位の課金ではなく、待機コストゼロの真の使用料金制モデルを達成した。
• PySparkとの互換性を維持しており、データサイエンティストは既存のコードを変更せずに使用でき、サーバーレスバックエンドに切り替えるには設定の変更のみで可能となった。
• LambdaのコールドスタートとメッセージキューI/Oの影響によりパフォーマンスは従来のクラスタより低いが、散発的で探索的なワークロードにおいては妥当なトレードオフである。
• メッセージの重複はシーケンスIDにより処理され、SQSの「少なくとも一度の配信」セマンティクスにもかかわらず正しく保証される。また、リトライにより個々の関数障害に対しても耐性がある。