[論文レビュー] Optimizing real-time RDF data streams

Joshua Shinavier|arXiv (Cornell University)|Nov 16, 2010

Caching and Content Delivery参考文献 12被引用数 5

ひとこと要約

本論文は、損失なし圧縮と効率的なRDF更新処理を活用して、スケールでデータを受容・処理できる、リアルタイムRDFデータストリーミングの高スループット・低遅延なUDPベースのアーキテクチャを提案している。このシステムは、Twitter Firehoseのスループットに近い約930件のツイート/秒を達成し、リアルタイムでのクエリが可能な高速度RDFストリームを実現し、セマンティックウェブ技術が高性能でリアルタイムなアプリケーションに適用可能であることを検証した。

ABSTRACT

The Resource Description Framework (RDF) provides a common data model for the integration of "real-time" social and sensor data streams with the Web and with each other. While there exist numerous protocols and data formats for exchanging dynamic RDF data, or RDF updates, these options should be examined carefully in order to enable a Semantic Web equivalent of the high-throughput, low-latency streams of typical Web 2.0, multimedia, and gaming applications. This paper contains a brief survey of RDF update formats and a high-level discussion of both TCP and UDP-based transport protocols for updates. Its main contribution is the experimental evaluation of a UDP-based architecture which serves as a real-world example of a high-performance RDF streaming application in an Internet-scale distributed environment.

研究の動機と目的

• ソーシャルメディアやセンサーなどの高速度データソースにおけるリアルタイムRDFデータストリーミングにおけるパフォーマンスおよびスケーラビリティの課題に対処すること。
• HTTPベースのストリーミングとは対照的に、UDPベースのトランスポートプロトコルがRDF更新の代替手段として有効であるかを評価すること。
• Twitter Firehoseのスループットに相当するデータ量を処理できる、高スループット・低遅延なRDFストリーミングパイプラインを実証すること。
• 損失なしデータ圧縮および効率的な更新フォーマットが、スループットの最大化と遅延の最小化に与える影響を評価すること。
• 実世界での展開を想定した、スケーラブルなRDFストリーミングシステムの実用的でオープンソースの実装を提供すること。

提案手法

• 損失なし圧縮を用いてペイロードサイズを削減することで、リアルタイムRDFデータインジェストに向けたUDPベースのストリーミングアーキテクチャを設計・実装する。
• SPARQL/Updateおよびデルタオントロジー形式を用いてRDF更新を表現し、コンパクトさと効率的なパースを最優先する。
• 1台のクライント・マシンがUDP経由でリモートの高性能トライプルストアにRDF更新を送信するクライント・サーバーパイプラインをデプロイする。
• 複数のRDFステートメントを1つのUDPパケットにバッチ処理し、プロトコルのオーバーヘッドを最小限に抑えることでスループットを最適化する。
• 標準化されたベンチマークを用いて性能を測定し、複数の受信プロセスを介してTwitter Firehoseに相当するレートでデータをインジェストする。
• 受信側でマルチプロセッシングを活用し、スレッド数（1〜8）を変化させた際のスループットと遅延を評価する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムRDFデータストリームにおいて、UDPベースのトランスポートが従来のHTTPベースのプロトコルに比べ、スループットと遅延の面で優れているか？
• RQ2 現代のセマンティックウェブ技術と効率的なトランスポートプロトコルを用いて、リアルタイムRDFデータインジェストの最大スループットはどの程度達成可能か？
• RQ3 損失なしデータ圧縮は、高容量RDFストリーミングワークロードにおいてパフォーマンスにどのように影響を与えるか？
• RQ4 分散型でUDPベースのシステムは、Twitter Firehoseのスループットに相当する規模のデータを、ほぼリアルタイムでインジェストできるか、その程度はいかほどか？
• RQ5 スケーラブルで低遅延なクエリサポートを、高速度RDFストリーム上で実現するために、最も効果的なアーキテクチャ的・プロトコル的選択肢は何か？

主な発見

• UDPベースのシステムは、約930件のツイート/秒の持続的インジェストレートを達成し、Twitter Firehoseの推定スループットに非常に近い値を示した。
• 4つの受信プロセスで最大スループットが約980トランザクション/秒に plateau に達し、インcomingsデータストリームのほぼ最適な消費が可能であることが示された。
• 8つの受信スレッドを用いた場合、最小スループットが理論上の上限の90％を維持し、強力なスケーラビリティと効率的な負荷分散が確認された。
• システムは、リモートのトライプルストアにRDF更新をリアルタイムでコミットでき、SPARQLエンドポイントを介して即座にクエリアクセスが可能になった。
• 損失なしデータ圧縮は、基盤となるトランスポートプロトコルにかかわらず、一貫してパフォーマンス向上を示した。
• 結果として、適切に最適化された現在のセマンティックウェブ技術は、インターネット規模の高性能でリアルタイムなデータワークロードをサポートできることを検証した。