[論文レビュー] An Experience Report of Large Scale Federations

Andreas Schwarte, Peter Haase+3 more|arXiv (Cornell University)|Oct 19, 2012

Semantic Web and Ontologies参考文献 6被引用数 5

ひとこと要約

本稿では、41億個のトリプルを含む29のBio2RDF SPARQLエンドポイントを用いたFedXを用いた大規模RDFフェデレーションを提示し、大規模な統合的意味データ管理の実現可能性を示している。分散の利点が通信オーバーヘッドを上回ることが多く、特に効率的なソース選択キャッシュを用いることで、ハイブリッドなローカル・リモート環境でも実用的なパフォーマンスを達成できることが示された。

ABSTRACT

We present an experimental study of large-scale RDF federations on top of the Bio2RDF data sources, involving 29 data sets with more than four billion RDF triples deployed in a local federation. Our federation is driven by FedX, a highly optimized federation mediator for Linked Data. We discuss design decisions, technical aspects, and experiences made in setting up and optimizing the Bio2RDF federation, and present an exhaustive experimental evaluation of the federation scenario. In addition to a controlled setting with local federation members, we study implications arising in a hybrid setting, where local federation members interact with remote federation members exhibiting higher network latency. The outcome demonstrates the feasibility of federated semantic data management in general and indicates remaining bottlenecks and research opportunities that shall serve as a guideline for future work in the area of federated semantic data processing.

研究の動機と目的

• 数十億個のトリプルを含む大規模RDFフェデレーションが、現実世界の環境で実用的かどうかを評価すること。
• 高い遅延を示すリモートSPARQLエンドポイントを含むハイブリッドフェデレーションにおける、ローカルフェデレーションとのパフォーマンスのトレードオフを分析すること。
• 大規模な統合SPARQLクエリ処理におけるボトル neck や最適化の機会を同定すること。
• 実際の展開において、非常に最適化されたフェデレーションメディエータとしてのFedXの有効性を実証すること。
• 今後の研究のための再現可能な実験設定と公開デモンストレータを提供すること。

提案手法

• 29のBio2RDF SPARQLエンドポイントにわたり、非常に最適化されたリンクドデータフェデレーションメディエータであるFedXを用いてフェデレーションを展開した。
• 2つの実験設定を構成した：完全にローカルなフェデレーションと、AWS EC2上にリモートエンドポイントを含むハイブリッドフェデレーション。
• FedXにソース選択キャッシュを実装し、SPARQLエンドポイントへの重複リクエストを削減した。
• 両方の設定で包括的なSPARQLクエリの実行を行い、評価時間と通信オーバーヘッドを測定した。
• クエリ実行計画を分析して通信パターンを同定し、ソース選択を最適化した。
• ライブクエリ実行とデータブラウジングを支援するため、公開デモンストレータ（http://biofed.fluidops.net）を活用した。

実験結果

リサーチクエスチョン

• RQ1 数10億以上のトリプルを含む大規模RDFデータセットに対して、統合SPARQLクエリ処理が効果的にスケーリング可能かどうか。
• RQ2 ローカルとリモートエンドポイントを組み合わせたハイブリッドフェデレーションにおけるネットワーク遅延が、クエリ評価パフォーマンスに与える影響は。
• RQ3 FedXにおけるソース選択キャッシュが、通信オーバーヘッドをどの程度削減し、パフォーマンスを向上させられるか。
• RQ4 通信コストが増加するにもかかわらず、分散処理が集中処理を上回る状況はどのようなものか。
• RQ5 大規模な統合的意味データ管理における主なボトル neck や最適化の機会は何か。

主な発見

• AWS EC2上にリモートエンドポイントを配置したハイブリッドフェデレーションは、高いネットワーク遅延があるにもかかわらず、1エンドポイントあたりの負荷が低いため、一部のケースでローカル設定を上回るパフォーマンスを示した。
• FedXにおけるソース選択キャッシュにより、Askリクエストの数が最大87件（例：クエリLS2では88件中87件が保存）削減され、顕著なパフォーマンス向上が達成された。
• キャッシュによるパcentualパフォーマンス向上は、保存されたリクエスト数が総リクエスト数に比べて大きい場合、特に単純なクエリで顕著であった。
• 多くのリモートリクエストを必要とする複雑なクエリ（例：LS3, LS7）では、キャッシュによる恩恵がほとんどなかった。これは、ベースラインの通信量が既に高いためである。
• 結果から、分散の利点が通信オーバーヘッドを上回ることが多く、統合処理が大規模スケールで実現可能かつ効率的であることが確認された。
• 本研究は、データ固有のURIネームスペースの活用や、頻繁に結合されるデータセットの適応的コロケーションを用いることで、さらなる通信コスト削減が可能であることを示した。