[論文レビュー] Scheduling Refresh Queries for Keeping Results from a SPARQL Endpoint Up-to-Date (Extended Version)

Magnus Knuth, Olaf Hartig+1 more|arXiv (Cornell University)|Aug 29, 2016

Data Quality and Management参考文献 8被引用数 3

ひとこと要約

本稿では、動的RDFデータセットにおけるSPARQLクエリ結果の更新を防ぐために、SPARQLエンドポイントの過負荷を回避するミドルウェアベースのスケジューリング戦略を提案する。DBpedia Liveにおける3か月間の実世界のクエリ動態を分析し、履歴的変更頻度と適応的結果有効期間に基づいてスケジューリング戦略を評価した結果、動的で履歴に配慮したスケジューリングが、ミスされた変更を最小限に抑え、最適なリソース使用状況下で検出までの時間を短縮することを示した。

ABSTRACT

Many datasets change over time. As a consequence, long-running applications that cache and repeatedly use query results obtained from a SPARQL endpoint may resubmit the queries regularly to ensure up-to-dateness of the results. While this approach may be feasible if the number of such regular refresh queries is manageable, with an increasing number of applications adopting this approach, the SPARQL endpoint may become overloaded with such refresh queries. A more scalable approach would be to use a middle-ware component at which the applications register their queries and get notified with updated query results once the results have changed. Then, this middle-ware can schedule the repeated execution of the refresh queries without overloading the endpoint. In this paper, we study the problem of scheduling refresh queries for a large number of registered queries by assuming an overload-avoiding upper bound on the length of a regular time slot available for testing refresh queries. We investigate a variety of scheduling strategies and compare them experimentally in terms of time slots needed before they recognize changes and number of changes that they miss.

研究の動機と目的

• 頻繁なSPARQLクエリの再取得が公開エンドポイントを過負荷にしかねないスケーラビリティ問題に対処すること。
• SPARQLエンドポイントを過負荷にしないように、クエリ再評価をスケジューリングするミドルウェアシステムを設計すること。
• エンドポイントの過負荷を回避するため、硬直的な時間スロット制約下でスケジューリング戦略を評価すること。
• 実世界のSPARQLクエリにおける履歴的変更パターンに基づいて、最も効果的なスケジューリングヒューリスティクスを同定すること。
• 動的RDFデータセットにおける結果更新の検出までの時間と、見逃された変更を最小限に抑えること。

提案手法

• アプリケーションがSPARQLクエリを登録し、結果に変更が生じた際に通知を受けることができるミドルウェアコンponentを採用する。
• 時間スロット制約により、スケジューリングサイクルあたりの合計所要時間を制限し、エンドポイントの過負荷を防ぐ。
• 履歴的変更頻度（ダイナミクス）と適応的結果有効期間に基づいて、スケジューリング戦略を評価する。
• 推定された変更までの時間が利用可能な時間スロットを上回る場合にのみクエリを再実行し、高ダイナミクスのクエリを優先する。
• 実際の変更を検出するために、結果の同型性と（ORDER BYクエリ用の）バインディング順序を追跡する。
• 実験では、3か月間にわたりDBpedia Live上でLSQから得た10,000件の実世界SPARQLクエリを用い、各リビジョンごとに実行時間と変更検出メトリクスを収集した。

実験結果

リサーチクエスチョン

• RQ1 固定された時間スロット予算下で、SPARQLクエリ結果の変更検出までの時間を最小限に抑えるスケジューリング戦略は何か？
• RQ2 クエリ結果の履歴的変更頻度（ダイナミクス）は、スケジューリングパフォーマンスにどのように影響するか？
• RQ3 適応的結果有効期間を導入することで、検出精度を向上させ、見逃された変更を減らせるか？
• RQ4 クエリタイプ（例：SELECT、ASK）および実行時間は、スケジューリング効率にどのような影響を与えるか？
• RQ5 データ更新頻度が高い時期は、結果変更の検出可能性にどのような影響を与えるか？

主な発見

• クエリ結果の変更履歴が、スケジューリング効果に最も大きな影響を与える要因である。
• 以前に認識された変更頻度（ダイナミクス）に基づくスケジューリング戦略が、最小限の見逃しを伴いながら最良の検出パフォーマンスを達成した。
• 個々のクエリ結果に対して適応的に最大有効期間を割り当てることで、検出速度が著しく向上し、偽陰性が減少した。
• 全リビジョンを通じて10,000件のクエリのうちわずか352件が変更されたが、1リビジョンあたり最大32件の変更が発生した。これは全体の更新頻度が低いことを示している。
• 全クエリの平均実行時間は1リビジョンあたり440〜870秒であり、影響を受けるクエリは合計時間の最大8.9％を占めた。
• 2015年8月下旬ごろのデータ更新頻度の上昇（例）は、変更されたクエリ結果の数の増加と強く相関していた。