[論文レビュー] Partisan: Enabling Cloud-Scale Erlang Applications

Christopher Meiklejohn, Heather Miller|arXiv (Cornell University)|Feb 7, 2018

Cloud Computing and Resource Management参考文献 19被引用数 4

ひとこと要約

Partisan は Erlang 向けのトポロジー非依存型、チャネルベースのディストリビューションレイヤーであり、実行時におけるクラスタートポロジーの選択（完全メッシュ、ピアツーピア、クライアント・サーバー、公開・購読など）を可能にし、スケーラビリティとパフォーマンスを向上させる。複数の通信チャネルにメッセージを分散させることで、Partisan は混雑状態において最大 30 倍のパフォーマンス向上と、分散データベースワークロードにおいて最大 13.5 倍の向上を達成し、Distributed Erlang より優れた性能を発揮する。

ABSTRACT

In this work, we present an alternative distribution layer for Erlang, named Partisan. Partisan is a topology-agnostic distributed programming model and distribution layer that supports several network topologies for different application scenarios: full mesh, peer-to-peer, client-server, and publish-subscribe. Partisan allows application developers to specify the network topology at runtime, rather than encoding topology-specific concerns into application code. Partisan additionally adds support for more channels, enabling users to distribute messages over multiple channels, sometimes in parallel. We implement and evaluate Partisan in the Erlang programming language and use it in the evaluation of three scenarios. The first scenario compares the raw performance between Distributed Erlang and Partisan, and shows that Partisan performs on par with or better than Distributed Erlang. The second scenario demonstrates that distributing traffic over multiple connections enables Partisan to perform up to 18x better under normal conditions, and up to 30x better in situations with network congestion and high concurrency. The third scenario demonstrates, using existing applications, that configuring the topology at runtime allows applications to perform up to 13.5x better or scale to clusters of thousands of nodes over the general-purpose runtime distribution layer.

研究の動機と目的

• 現代のクラウド規模アプリケーションで多様なネットワークトポロジーを必要とする中で、Distributed Erlang のスケーラビリティ制限を解消すること。
• アプリケーションコードの変更なしに、開発者が実行時において最適なクラスタートポロジーを選択できるようにすること。
• Distributed Erlang のヘッド・オブ・ラインブロッキング、単一チャネル通信、2次関数的接続オーバーヘッドによって引き起こされるパフォーマンスボトルネックを克服すること。
• 複数の通信チャネルとトポロジー特化を導入することで、並列性とフェイルセーフを向上させること。
• キーバリューストアやデータベースなどの実世界の分散アプリケーションにおいて、顕著なパフォーマンスおよびスケーラビリティの向上を実証すること。

提案手法

• 実行時における複数のクラスタートポロジー（完全メッシュ、ピアツーピア、クライアント・サーバー、公開・購読）を選択可能な、トポロジー非依存型の分散プログラミングモデルを設計する。
• 複数の接続を介してメッセージを分散できるチャネルベースの完全メッシュバックエンドを実装し、並列性を活用し、ヘッド・オブ・ラインブロッキングを低減する。
• Partisan レイヤーを Distributed Erlang の代替として統合し、Erlang の軽量プロセスおよびメッセージパス方式を維持する。
• 大規模クラスタでのスケーラビリティの評価に、G-Counter を用いた分散データ構造を活用する。
• 3 つのシナリオでパフォーマンスを評価する：基本的なパフォーマンス比較、混雑状態下でのマルチチャネルメッセージング、大規模クラスタにおける動的トポロジー構成。
• Riak Core などの既存の Erlang アプリケーションを活用し、実世界のパフォーマンス向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 Erlang 向けのディストリビューションレイヤーは、アプリケーションコードの変更なしに、実行時における複数のクラスタートポロジーのサポートが可能か？
• RQ2 マルチチャネルメッセージ配布は、高並列性または高レイテンシのネットワーク環境下で、どの程度パフォーマンスを向上させられるか？
• RQ3 トポロジー特化は、大規模クラスタ（例：1000 ノード以上）における分散アプリケーションのスケーラビリティにどのように影響するか？
• RQ4 Partisan は、分散データベースやキーバリューストアなどの多様なワークロードにおいて、Throughput や Latency の点で Distributed Erlang を上回ることができるか？
• RQ5 Distributed Erlang のスケーラビリティを 60 ノード程度で制限する主なパフォーマンスボトルネックは何か？ そして、アーキテクチャの変更によってこれらを緩和できるか？

主な発見

• Partisan は、基本的なメッセージ送信ベンチマークにおいて、Distributed Erlang と同等またはそれ以上のパフォーマンスを達成する。
• 複数のチャネルにトラフィックを分散させることで、通常状態では最大 18 倍、ネットワーク混雑状態および高並列性状態では最大 30 倍のパフォーマンス向上が達成される。
• 実行時トポロジー選択により、軽量なキーバリューストアが 256 ノードから 1024 ノードへと水平スケーリング可能であることが実証された。
• 同じアプリケーションが、デフォルトの完全メッシュではなく最適化されたトポロジー（例：クライアント・サーバー、公開・購読）を使用することで、最大 13.5 倍のパフォーマンス向上を達成する。
• Partisan は、並列通信チャネルを活用することで、ヘッド・オブ・ラインブロッキングを効果的に軽減し、シリアライズ化オーバーヘッドの影響を低減する。
• この設計は汎用的であり、Akka Cluster や Microsoft Orleans などの他のアクター基盤システムのパフォーマンス向上にも応用可能であることが示されており、Riak Core への適用可能性によって裏付けられている。