[論文レビュー] Scalable RDF Data Compression using X10

Cheng Long, Avinash Malik+3 more|arXiv (Cornell University)|Mar 10, 2014

Distributed and Parallel Computing Systems参考文献 14被引用数 6

ひとこと要約

本論文は、X10プログラミング言語とAPGASモデルを用いて、大規模クラスタ上で効率的な辞書符号化を可能にするスケーラブルで分散型のRDFデータ圧縮アルゴリズムを提案する。最新のMapReduceベースの圧縮手法と比較して2.6–7.4倍の高速化を達成し、優れた負荷分散と低通信量を実現しており、110億トリプル（1.9TB）までのデータセットにおいて優れたパフォーマンスを示している。

ABSTRACT

The Semantic Web comprises enormous volumes of semi-structured data elements. For interoperability, these elements are represented by long strings. Such representations are not efficient for the purposes of Semantic Web applications that perform computations over large volumes of information. A typical method for alleviating the impact of this problem is through the use of compression methods that produce more compact representations of the data. The use of dictionary encoding for this purpose is particularly prevalent in Semantic Web database systems. However, centralized implementations present performance bottlenecks, giving rise to the need for scalable, efficient distributed encoding schemes. In this paper, we describe an encoding implementation based on the asynchronous partitioned global address space (APGAS) parallel programming model. We evaluate performance on a cluster of up to 384 cores and datasets of up to 11 billion triples (1.9 TB). Compared to the state-of-art MapReduce algorithm, we demonstrate a speedup of 2.6-7.4x and excellent scalability. These results illustrate the strong potential of the APGAS model for efficient implementation of dictionary encoding and contributes to the engineering of larger scale Semantic Web applications.

研究の動機と目的

• 大規模RDFデータ圧縮における集中型辞書符号化の性能ボトルネックを解消すること。
• アーキテクチャに依存するか、負荷分散が不十分であるという既存の並列圧縮手法の限界を克服すること。
• 一般ハードウェアクラスタを用いて、効率的でスケーラブルかつフェイルセーフな大規模RDFデータセットの圧縮を可能にすること。
• 実世界のセマンティックウェブアプリケーションにおける柔軟な展開を可能にするために、メモリ内処理とディスク上処理の両方をサポートすること。
• 分散環境における知的なデータ分散と調整によって、高いパフォーマンスと低通信量を実現すること。

提案手法

• X10言語のAPGAS（非同期部分的グローバルアドレス空間）モデルを活用し、細粒度なタスクスケジューリングを可能にするデータ並列計算を表現する。
• 各処理ノードがローカル辞書を保持し、全ノード間通信（all-to-all communication）により必要なマッピングのみを伝達する分散辞書符号化方式を採用する。
• X10の`async`および`finish`構文を用いて非同期タスク生成を実施し、並列処理の制御と負荷分散の向上を図る。
• 2段階の符号化プロセスを適用する：(1) ノードごとの局所的語彙収集とID割り当て、(2) 全体の調整により語の衝突を解消し、一貫性のあるIDマッピングを確保する。
• 94.5％の語が局所的に解決されることを保証することで、不要な計算とデータ転送を最小限に抑える。
• データセットの再パーティショニングではなく、必要なマッピングのみを転送することで通信を最適化し、ネットワーク効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 X10におけるAPGASモデルは、大規模RDFデータに対してスケーラブルかつ効率的な辞書符号化を可能にするか？
• RQ2 提案された分散符号化アルゴリズムは、最新のMapReduceベースの手法と比較して、パフォーマンスとスケーラビリティにおいて優れているか？
• RQ3 分散クラスタ環境において、このアルゴリズムはどれほど優れた負荷分散を達成し、通信量を最小限に抑えることができるか？
• RQ4 データサイズやコア数の変動に応じて、特に110億トリプルまでのデータセットにおいて、システムはどのように動作するか？
• RQ5 システムはインクリメンタルな更新を効率的に処理でき、かつメモリ内処理とディスク上処理の両方をサポートできるか？

主な発見

• 提案されたX10ベースのアルゴリズムは、110億トリプル（1.9TB）までのデータセットにおいて、最新のMapReduceベースの圧縮システムと比較して2.6–7.4倍の高速化を達成した。
• システムは優れたスケーラビリティを示し、24から384コアの範囲で一貫した負荷分散と最小限の偏りを維持しながら高いパフォーマンスを発揮した。
• 全設定において平均ミス率が94.5％であったため、94.5％の語が局所的に解決されており、不要な計算と通信が最小限に抑えられた。
• ネットワーク通信量が顕著に削減された：192コア環境ではX10が1ノードあたり平均143万件（1.8782MB）のレコードを転送したが、MapReduceのreduceフェーズでは平均1728万件（79.77MB）であった。
• MapReduceよりも優れた負荷分散を実現しており、ノード1つあたり受信する最大データ量と平均データ量の差が小さい（143万件 vs. 1728万件）。
• アルゴリズムはメモリ内処理とディスク上処理の両方をサポートしており、データの偏りに対しても頑健であるため、実世界の大規模セマンティックウェブワークロードに適している。