[論文レビュー] Serverless End Game: Disaggregation enabling Transparency

Pedro Garcı́a-López, Aleksander Slominski+3 more|arXiv (Cornell University)|Jun 1, 2020

Cloud Computing and Resource Management被引用数 5

ひとこと要約

この論文は、サーバess計算におけるリソースの非統合化が、変更のない単一マシンコードが分散型でスケーラブルなクラウドリソース上で効率的に実行可能であるという完全な透過性を実現可能であると主張している。実験の結果、ローカル実行と同等のパフォーランスが得られ、万能な透過性を達成するための5つの主要な研究課題が同定された。

ABSTRACT

For many years, the distributed systems community has struggled to smooth the transition from local to remote computing. Transparency means concealing the complexities of distributed programming like remote locations, failures or scaling. For us, full transparency implies that we can compile, debug and run unmodified single-machine code over effectively unlimited compute, storage, and memory resources. We elaborate in this article why resource disaggregation in serverless computing is the definitive catalyst to enable full transparency in the Cloud. We demonstrate with two experiments that we can achieve transparency today over disaggregated serverless resources and obtain comparable performance to local executions. We also show that locality cannot be neglected for many problems and we present five open research challenges: granular middleware and locality, memory disaggregation, virtualization, elastic programming models, and optimized deployment. If full transparency is possible, who needs explicit use of middleware if you can treat remote entities as local ones? Can we close the curtains of distributed systems complexity for the majority of users?

研究の動機と目的

• アプリケーション開発者が分散システムの複雑さを解消することで、クラウドコンピューティングにおける完全な透過性を達成すること。
• サーバーレスアーキテクチャにおけるリソースの非統合化が、ローカル実行と同等のパフォーマンスで変更のない単一マシンコードを実行可能にするかを調査すること。
• クラウド環境における完全な透過性を阻害するオープンな研究課題を特定し、それらに対処すること。
• 低遅延で非統合されたリソースが、分散システムにおける歴史的な障壁（遅延、同時実行、部分的障害など）をどのように克服できるかを検討すること。

提案手法

• コンピューティング、ストレージ、メモリを独立してスケーラブルなリモートリソースとして分離することで、クラウドインfraのリソース非統合化を活用すること。
• 既存のサーバーレスプリミティブ（例：関数としてのサービス（FaaS））、クラウドオブジェクトストレージ、メッセージングシステムを、透過的実行の構築要素として使用すること。
• 非統合されたサーバーレスリソース上でGEMMおよびモンテカルロの2つの実験を設計・評価し、ローカル実行とのパフォーランスを比較すること。
• 仮想ノードおよび直接I/Oアクセスを介して、非統合ハードウェアへの透過的で低遅延アクセスを可能にするために、LegoOSおよびArrakisシステムを拡張すること。
• 細粒度でロケーションに配慮した、かつスケーラブルなプログラミングモデルをサポートする、次世代の仮想化およびミドルウェアを提案すること。
• オブザーバビリティ、静的解析、機械学習をクラウドオーケストレーションに統合し、最適化されたデプロイとコントロールプレーンのカスタマイズを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 非統合されたサーバーレスクラウドリソースにデプロイされた変更のない単一マシンアプリケーションが、ローカル実行と同等のパフォーマンスを達成できるか？
• RQ2 非常に非統合された低遅延クラウド環境において、リソースのロケーションはどの程度重要であるか？
• RQ3 クラウドコンピューティングにおける完全な透過性を阻害する主な技術的課題は何か、そしてそれらはどのように解決できるか？
• RQ4 プログラミングモデルをローカル環境と分散環境の両方でスケーラブルかつポータブルにできるようにするには、パフォーマンスや透過性を損なわずに行うにはどうすればよいか？
• RQ5 将来的なクラウドオーケストレーションシステムが、静的解析と機械学習を用いた「クラウドコンパイル」最適化を可能にし、コストとパフォーマンスを最適化できるか？

主な発見

• 実験により、非統合されたサーバーレスリソース上でリモート実行がローカル実行と同等のパフォーマンスを達成することが実証され、透過性の実現可能性が裏付けられた。
• 低ネットワーク遅延であっても、多くの計算ワークロードにおいてロケーションがパフォーマンスに重要な要因であることが判明し、非統合化だけでは不十分であることが示された。
• 特にマイクロ秒（µs）レベルの低遅延RPCを組み合わせたリソース非統合化は、クラウドシステムにおける完全な透過性を実現する決定的要因である。
• 現在の仮想化およびミドルウェアソリューションは、完全な透過性を達成するには不十分であり、細粒度でロケーションに配慮した新しいミドルウェアおよびランタイムシステムの開発が不可欠である。
• 完全な透過性への移行には、静的解析と機械学習駆動のオーケストレーションを含む最適化されたデプロイパイプラインが必要である。
• リモートリソースをローカルリソースとして扱うというビジョン——「サーバーレススーパーコンピュータ」に類似——は、技術的に実現可能であり、今後間もなく実現可能になる。ただし、主要な研究課題が解決されればの話である。