[論文レビュー] Serverless computing provides on-demand high performance computing for biomedical research

Dimitar Kumanov, Ling‐Hong Hung+2 more|arXiv (Cornell University)|Jul 31, 2018

Distributed and Parallel Computing Systems参考文献 13被引用数 11

ひとこと要約

この論文は、AWS Lambdaを用いたサーバーヲスコンピューティングが、サーバー管理を伴わずリソースを動的に割り当てることで、バイオメディカル研究におけるオンデマンドのハイパフォーマンスコンピューティングを可能にすることを示している。250倍の高速化を達成し、1ドル未満のコストで全組み合わせのペアワイズタンパク質比較を約2分で完了した。これは、ビッグデータバイオインフォマティクスワークロードにコスト効率が良く、即時スケーラビリティを備えた代替手段であることを証明している。

ABSTRACT

Cloud computing offers on-demand, scalable computing and storage, and has become an essential resource for the analyses of big biomedical data. The usual approach to cloud computing requires users to reserve and provision virtual servers. An emerging alternative is to have the provider allocate machine resources dynamically. This type of serverless computing has tremendous potential for biomedical research in terms of ease-of-use, instantaneous scalability and cost effectiveness. In our proof of concept example, we demonstrate how serverless computing provides low cost access to hundreds of CPUs, on demand, with little or no setup. In particular, we illustrate that the all-against-all pairwise comparison among all unique human proteins can be accomplished in approximately 2 minutes, at a cost of less than $1, using Amazon Web Services Lambda. This is a 250x speedup compared to running the same task on a typical laptop computer.

研究の動機と目的

• サーバーレスコンピューティングがバイオメディカルデータ分析にスケーラブルで低コストかつハイパフォーマンスなコンピューティングを提供できるかどうかを検討すること。
• サーバーのプロビジョニングや管理のオーバーヘッドといった、従来のクラウドコンピューティングの限界を克服すること。
• 全組み合わせのタンパク質比較のような計算集約型バイオインフォマティクスワークロードを、サーバーレスプラットフォームで実行可能なことを実証すること。
• 従来のラップトップベースの計算と比較して、サーバーレス実行のパフォーマンスとコスト効率を評価すること。
• 複雑なバイオメディカル分析を最小限のセットアップと動的なリソース割り当てで実行できるというプロトタイプを提供すること。

提案手法

• インfraストラクチャの管理を伴わず、並列化されたバイオインフォマティクスワークロードを実行するために、サーバーレスコンピューティングサービスであるAWS Lambdaを活用した。
• ヒトタンパク質の全組み合わせペアワイズ比較を、原子的で状態なしの関数に分割する分散ワークフローを設計した。
• イベント駆動型実行を活用し、必要に応じて個々の比較タスクを起動し、自動的に数百の同時実行CPUインスタンスにスケーリングした。
• サーバーレス環境での遅延を最小限に抑え、スループットを最大化するために、関数のパckagingおよび入出力処理を最適化した。
• 再現性と標準バイオインフォマティクスツールとの互換性を確保するため、コンテナ化された実行環境を採用した。
• パフォーマンスと経済的効率を評価するために、AWSの請求および監視APIを用いて実行時間とコストを測定した。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスコンピューティングは、最小限のセットアップと管理でバイオメディカルデータ分析にハイパフォーマンスコンピューティングを提供できるか？
• RQ2 全組み合わせのタンパク質比較において、サーバーレス実行のパフォーマンスは、従来のラップトップベースの計算と比べてどう異なるか？
• RQ3 AWS Lambdaのようなサーバーレスプラットフォームで大規模なバイオインフォマティクスワークロードを実行する際のコスト効率はどの程度か？
• RQ4 サーバーレスアーキテクチャは、バイオメディカル研究における計算集約型タスクを処理するために、どの程度動的にスケーリングできるか？
• RQ5 サーバーのプロビジョニングや管理なしに、サーバーレスコンピューティングが迅速かつオンデマンドで複雑な生物学的データ分析を実行できるか？

主な発見

• ヒトタンパク質の全組み合わせペアワイズ比較が、AWS Lambdaを用いて約2分で完了した。
• 実行コストは1ドル未満であり、従来の計算方法と比較して顕著なコスト削減を実現した。
• 通常のラップトップで同じタスクを実行した場合と比較して、250倍の高速化を達成した。
• サーバーレスコンピューティングにより、手動でのサーバーのプロビジョニングや設定なしに、オンデマンドで数百のCPUを動的に割り当てられた。
• システムは即時スケーラビリティとほぼ即時のリソース利用可能性を示し、バイオメディカル研究で一般的なバースト性や不規則なワークロードに最適であった。
• 結果として、サーバーレスコンピューティングがバイオインフォマティクス分野におけるハイパフォーマンスコンピューティングの実用的で効率的かつコスト効率の良い代替手段であることが確認された。