[論文レビュー] Efficiently Charting RDF

Oren Kalinsky, Oren Mishali+3 more|arXiv (Cornell University)|Nov 27, 2018

Data Quality and Management参考文献 72被引用数 3

ひとこと要約

本稿では、大規模なRDF知識グラフのインタラクティブ可視化を高速化する、新しいオンライン集計アルゴリズムであるAudit Joinを提案する。この手法は、Wander Joinのランダムウォークと、Cache Trie Joinを用いた正確な部分計算を組み合わせ、集計の収束を加速する。本稿では、重複カウントに対する不偏推定量を導入し、複数の知識グラフにおいてWander Joinと比較して著しく低い誤差を達成しており、1分未塔の収束時間で1%未満の平均誤差を実現する。これにより、近似リアルタイムの棒グラフ探索が可能となる。

ABSTRACT

We propose a visual query language for interactively exploring large-scale knowledge graphs. Starting from an overview, the user explores bar charts through three interactions: class expansion, property expansion, and subject/object expansion. A major challenge faced is performance: a state-of-the-art SPARQL engine may require tens of minutes to compute the multiway join, grouping and counting required to render a bar chart. A promising alternative is to apply approximation through online aggregation, trading precision for performance. However, state-of-the-art online aggregation algorithms such as Wander Join have two limitations for our exploration scenario: (1) a high number of rejected paths slows the convergence of the count estimations, and (2) no unbiased estimator exists for counts under the distinct operator. We thus devise a specialized algorithm for online aggregation that augments Wander Join with exact partial computations to reduce the number of rejected paths encountered, as well as a novel estimator that we prove to be unbiased in the case of the distinct operator. In an experimental study with random interactions exploring two large-scale knowledge graphs, our algorithm shows a clear reduction in error with respect to computation time versus Wander Join.

研究の動機と目的

• シュナイダーマンの「概要から始める、次にズーム・フィルタリング、最後に詳細のオンデマンド取得」という原則に基づく視覚的クエリ言語を用いて、大規模なRDF知識グラフのインタラクティブでリアルタイムの探索を可能にすること。
• 巨大な知識グラフ上でSPARQLクエリから棒グラフをレンダリングする際の性能ボトルネックを解決すること。正確な計算には数分から数時間の時間がかかることが課題である。
• Wander Joinなどの最先端の手法と比較して推定誤差を低減するオンライン集計アルゴリズムを設計すること。特に、高い選択性と重複集計の状況下で有効であることを目指す。
• 知識グラフ探索における正確な可視化に不可欠な、DISTINCTオペレータ下でのカウント集計に対する不偏推定量を設計すること。
• オンライン集計中に正確な計算（Cache Trie Joinを用いて）を部分的に統合することで、性能を損なわせることなく収束速度と正確性を向上させること。

提案手法

• Audit Joinは、Wander Joinのランダムウォークメカニズムと、Cache Trie Joinアルゴリズムを用いた選択的正確計算を統合し、拒否ルートの数を減らし、収束を改善する。
• 各ステップで選択性を推定し、推定コストが低い場合に、残りの接尾部分空間に対してランダムウォークから正確計算に切り替える。
• DISTINCTオペレータ下でのカウント集計に対して、新規の、証明可能な不偏推定量を導入し、既存のオンライン集計手法の主な限界を克服する。
• アルゴリズムは実行中に推定量を動的に更新し、重複集計下でも推定値の期待値が真の値と一致することを保証する。
• フレームワークは、クラス拡張、プロパティ拡張、およびオブジェクト/サブジェクト拡張の3つのユーザー操作をサポートし、それぞれがインタラクティブな探索パイプライン内で新しい棒グラフを生成する。
• システムは、DBpediaおよびLinkedGeoDataのランダムに生成された探索クエリを用いて評価され、Wander Joinおよび正確実行（VirtuosoとCache Trie Join）と比較して、誤差と計算時間のトレードオフを検証した。

実験結果

リサーチクエスチョン

• RQ1 選択的正確計算を組み込んだオンライン集計は、純粋なオンライン集計と比較して、RDF棒グラフ可視化における推定誤差を低減できるか？
• RQ2 本稿で提案する重複カウントに対する不偏推定量は、知識グラフ探索ワークロードにおける正確性を向上させるか？
• RQ3 Cache Trie Joinを用いた正確な部分計算の統合は、インタラクティブなRDF探索における収束速度と誤差低減にどのように影響するか？
• RQ4 異なる探索深さや知識グラフサイズの下で、Audit JoinはWander Joinに比べてどの程度誤差低減とランタイム効率で優れているか？
• RQ5 高選択性や重複を含むクエリを有する多様な知識グラフにおいて、Audit Joinのパフォーマンスメリットは一貫しているか？

主な発見

• Audit Joinは、Wander Joinと比較して推定誤差を桁違いに低減し、ほとんどのケースで1分未塔の時間内に1%未塔の平均誤差を達成した。
• 純粋なオンライン集計（Wander Join）および正確実行（VirtuosoおよびCache Trie Join）と比較して、収束が著しく速く、インタラクティブな探索が現実可能になった。
• 重複なしのケースにおいても、Audit JoinはWander Joinを大幅に上回り、部分的正確計算の利点がDISTINCT演算子に限定されないことを示した。
• Wander Joinでは、クエリの選択性と複雑さが高くなると拒否パスの数が増加し、収束が遅くなる。Audit Joinは、高拒否率のセグメントを正確計算に置き換えることでこれを緩和する。
• 探索ステップ数が増えるほど、Audit JoinのWander Joinに対する相対的パフォーマンス向上が顕著になる。これは、より深い複雑なクエリにおいて優位性が増すことを示している。
• Cache Trie Joinによる正確計算は、Virtuosoの数時間から数十秒にまで計算時間を短縮したが、依然としてインタラクティブ利用には不適切であった。Audit Joinによるオンライン集計は、このギャップを効果的に埋めた。