[論文レビュー] Serverless Computing: One Step Forward, Two Steps Back

Joseph M. Hellerstein, Jose M. Faleiro+5 more|arXiv (Cornell University)|Dec 10, 2018

Peer-to-Peer Network Technologies参考文献 16被引用数 176

ひとこと要約

この論文は、現在のサーバーレス（FaaS） offering が自動スケーリングを前進させる一方でデータ処理と分散計算を著しく阻害し、クラウドの革新を制限していると主張し、より有能な将来のプラットフォームのための重要な課題を提案します。

ABSTRACT

Serverless computing offers the potential to program the cloud in an autoscaling, pay-as-you go manner. In this paper we address critical gaps in first-generation serverless computing, which place its autoscaling potential at odds with dominant trends in modern computing: notably data-centric and distributed computing, but also open source and custom hardware. Put together, these gaps make current serverless offerings a bad fit for cloud innovation and particularly bad for data systems innovation. In addition to pinpointing some of the main shortfalls of current serverless architectures, we raise a set of challenges we believe must be met to unlock the radical potential that the cloud---with its exabytes of storage and millions of cores---should offer to innovative developers.

研究の動機と目的

• データ中心および分散システムのニーズにFaaSベースのサーバーレスプラットフォームがどの程度適合するかを評価する。
• 現在のサーバーレス提供のコアとなるアーキテクチャと性能ギャップを特定する。
• これらのギャップが実世界のデータ処理、機械学習、分散計算をいかに制約するかを実証する。
• 単純な embarrassingly parallel タスクを超えるクラウド規模の革新を解き放つための高レベルの課題と方向性を提案する。

提案手法

• 既存のFaaSインフラストラクチャ（主に AWS Lambda に焦点を当てた）とそれらのアーキテクチャ的制約の調査。
• データ集約的タスク（例：モデル訓練）におけるLambdaと従来のVMベースアプローチを比較する実証ケーススタディ。
• 典型的なサーバーレスワークフローの待機時間、帯域幅、データ移動オーバーヘッドの特徴付け。
• 現在のFaaS制約の下での分散計算パターン（イベント駆動対メッセージパッシング）の分析。
• ハードウェア加速、オープンソースエコシステム、将来の研究方向への影響の議論。

実験結果

リサーチクエスチョン

• RQ1 データ中心ワークロードのための現代のFaaS/サーバーレスプラットフォームの主要なアーキテクチャと性能の制約は何か。
• RQ2 これらの制約は機械学習訓練、予測提供、分散計算といった実世界のタスクにどう影響するのか。
• RQ3 データと分散システムを規模でより活用するためにクラウドプログラミングモデルを再設計する機会は何か。
• RQ4 サーバーレスプラットフォームの制約は健全な革新を促すのか、それともユーザーを独自のサービスに縛るのか。

主な発見

• FaaSプラットフォームは自動スケーリングを可能にする一方でデータ処理と分散計算をデータ移送アーキテクチャと非アドレス指定・短寿命な関数のために制約する。
• 実証的ケーススタディは、大規模データセットに対するモデル訓練がLambdaベースだとEC2と比較して著しく遅く、費用も高くなることを示している（引用実験では21倍遅く、7.3倍高い費用）。
• サーバーレス環境での予測提供は、サーバフルな同等よりも数万〜のオーダーで遅くなる可能性があり、バッチ処理とデータ移動が待機時間とコストを増幅させる。
• 関数間の直接的なネットワーク通信はサポートされておらず、データを遅いストレージシステムを介して流す必要があり、細粒度の分散プロトコルを妨げる。
• 現在のサーバーレス基盤はユーザーを提供者固有のサービスにロックする傾向があり、オープンソースデータシステムの革新を阻害する。
• 著者は、サーバーレスは単一機能の自動スケーリングを超え、計算とデータを共置し分散協調をサポートする統合的なクラウドプログラミングモデルへ拡張すべきだというより広い主張を提示する。