[論文レビュー] Palgol: A High-Level DSL for Vertex-Centric Graph Processing with Remote Data Access

Yongzhe Zhang, Hsiang−Shang Ko+1 more|arXiv (Cornell University)|Mar 28, 2017

Graph Theory and Algorithms参考文献 20被引用数 6

ひとこと要約

Palgol は、頂点中心のグラフ処理のための高水準なドメイン固有言語（DSL）であり、任意の頂点に対する属性のリモート読み取りおよび書き込みをチェーンアクセスを介して効率的に行える。これにより、Pregel における複雑で動的な通信パターンの表現が可能になる。Palgol は、手動で最適化された実装と同等の性能を示す効率的な Pregel コードにコンパイルされる。

ABSTRACT

Pregel is a popular distributed computing model for dealing with large-scale graphs. However, it can be tricky to implement graph algorithms correctly and efficiently in Pregel's vertex-centric model, especially when the algorithm has multiple computation stages, complicated data dependencies, or even communication over dynamic internal data structures. Some domain-specific languages (DSLs) have been proposed to provide more intuitive ways to implement graph algorithms, but due to the lack of support for remote access --- reading or writing attributes of other vertices through references --- they cannot handle the above mentioned dynamic communication, causing a class of Pregel algorithms with fast convergence impossible to implement. To address this problem, we design and implement Palgol, a more declarative and powerful DSL which supports remote access. In particular, programmers can use a more declarative syntax called chain access to naturally specify dynamic communication as if directly reading data on arbitrary remote vertices. By analyzing the logic patterns of chain access, we provide a novel algorithm for compiling Palgol programs to efficient Pregel code. We demonstrate the power of Palgol by using it to implement several practical Pregel algorithms, and the evaluation result shows that the efficiency of Palgol is comparable with that of hand-written code.

研究の動機と目的

• 既存の DSL が近隣頂点へのみデータアクセスを許容し、動的で非局所的な通信を必要とするアルゴリズムを表現できないという制限を解消すること。
• 親ポインタのような動的内部データ構造を維持・アクセスする必要がある、Shiloach-Vishkin の連結成分やリストランクといった高度な Pregel アルゴリズムの実装を可能にすること。
• 安全にリモート読み取りおよび書き込みをサポートする宣言的言語モデルを設計し、Pregel のメッセージ渡しモデルへの効率的なコンパイルを維持すること。
• チェーンアクセス（連続するリモート参照）を最小限のメッセージ渡しパターンに最適化する、新規なコンパイル戦略を開発すること。
• 高水準な Palgol プログラムが、手書きの Pregel コードと同等の性能を達成できることを実証し、高水準な抽象化と低水準の効率性のギャップを埋めること。

提案手法

• 計算の基本単位としてアルゴリズム的スーパーステップを導入し、複数のスーパーステップに跨るリモート読み取りおよび書き込み操作の安全で構造的な順序付けを可能にする。
• チェーンアクセス（リモート頂点の属性への直接参照を可能にする構文）を用いた、リモートアクセスを一等としてサポートする宣言的 DSL として Palgol を設計する。
• チェーンアクセスのパターンを静的に解析する論理システムを開発し、Pregel における効率的なメッセージ渡しシーケンスにコンパイルすることで、通信ラウンド数を最小限に抑える。
• Green-Marl にインspired なプログラム統合技術を用い、原子的 Palgol ステップを1つのループ本体に統合し、ランタイムのオーバーヘッドを低減し、性能を向上させる。
• 2段階のコンパイルモデルを実装する：まず、Palgol ステップを Pregel 互換の計算関数に変換し、次に、依存関係解析とメッセージ集約を用いてリモートアクセスパターンを最適化する。
• Fregel の関数的合成モデルとコンビネータ（シーケンスおよび反復）を活用し、原子的ステップから複雑なアルゴリズムを構成することで、正しさとモularity を保証する。

実験結果

リサーチクエスチョン

• RQ1 Pregel 用の高水準 DSL は、直接の近隣頂点を超えたリモートデータアクセスをサポートできるか。これにより、非局所的かつ動的な通信に依存するアルゴリズムの実装が可能になるか？
• RQ2 特に複数のホップを含むチェーンアクセスのようなリモートアクセスは、過剰な通信オーバーヘッドを伴わずに、Pregel のメッセージ渡しモデルに効率的にコンパイル可能か？
• RQ3 宣言的で高水準な言語である Palgol は、実世界のグラフアルゴリズムにおいて、手書きの最適化された Pregel コードと同等の性能を達成できるか？
• RQ4 リモート書き込みを安全かつ効率的にサポートするための言語設計原則は何か。これにより、複雑な競合検出やランタイムチェックを導入することなく、動的データ構造の更新が可能になるか？
• RQ5 Fregel の組み合わせ的で関数的なプログラミングモデルは、リモートアクセス機能を拡張可能か。その際、効率性と表現力の両方を維持できるか？

主な発見

• Palgol は、Shiloach-Vishkin の連結成分アルゴリズム やリストランクといった、非局所的かつ動的な通信に依存する複雑な Pregel アルゴリズムの実装を可能にし、既存の DSL では表現できない。
• Palgol のチェーンアクセス機構により、プログラマは任意のリモート頂点のデータを直接アクセスしているかのように記述でき、コードの明確さと保守性が著しく向上する。
• 提案されたチェーンアクセスコンパイルの論理システムにより、メッセージ渡しラウンド数を最小限に抑え、Pregel のモデルへの効率的なマッピングが実現された。
• 評価の結果、Palgol で生成されたコードは、手書きの Pregel 実装と同等の性能を示し、高水準な抽象化が効率性を犠牲にしないことを実証した。
• Fregel の組み合わせ的モデルと Green-Marl の統合最適化を組み合わせることで、Palgol は高水準な表現力と低水準の効率性の両方を達成し、グラフDSL設計における重要なギャップを埋めた。
• アルゴリズム的スーパーステップモデルにより、Palgol のリモート書き込みは安全にサポートされており、競合検出の複雑さを回避しながら、動的データ構造の更新が可能である。