[논문 리뷰] Efficiently Charting RDF

Oren Kalinsky, Oren Mishali외 3명|arXiv (Cornell University)|2018. 11. 27.

Data Quality and Management참고 문헌 72인용 수 3

한 줄 요약

이 논문은 대규모 RDF 지식 그래프의 인터랙티브 시각화를 가속화하기 위해 무작위 보행 기반 Wander Join과 캐시 트라이 조인을 이용한 정확한 부분 계산을 결합한 새로운 온라인 집계 알고리즘인 Audit Join을 제안한다. 이는 고유 수를 위한 편향 없는 추정기법을 도입하여 다양한 지식 그래프에서 Wander Join 대비 상당히 낮은 오차를 달성하며, 분석 시간이 분 이내로 수렴되고 평균 오차가 1% 미만인 실시간 바 차트 탐색을 가능하게 한다.

ABSTRACT

We propose a visual query language for interactively exploring large-scale knowledge graphs. Starting from an overview, the user explores bar charts through three interactions: class expansion, property expansion, and subject/object expansion. A major challenge faced is performance: a state-of-the-art SPARQL engine may require tens of minutes to compute the multiway join, grouping and counting required to render a bar chart. A promising alternative is to apply approximation through online aggregation, trading precision for performance. However, state-of-the-art online aggregation algorithms such as Wander Join have two limitations for our exploration scenario: (1) a high number of rejected paths slows the convergence of the count estimations, and (2) no unbiased estimator exists for counts under the distinct operator. We thus devise a specialized algorithm for online aggregation that augments Wander Join with exact partial computations to reduce the number of rejected paths encountered, as well as a novel estimator that we prove to be unbiased in the case of the distinct operator. In an experimental study with random interactions exploring two large-scale knowledge graphs, our algorithm shows a clear reduction in error with respect to computation time versus Wander Join.

연구 동기 및 목표

• 쇼니어만의 '개요부터 시작하여 확대 및 필터링, 그 다음에 세부 정보 요청' 원칙에 기반한 시각적 쿼리 언어를 통해 대규모 RDF 지식 그래프의 인터랙티브 실시간 탐색을 가능하게 하기 위해.
• 수백만 개 이상의 트리플을 포함하는 거대 지식 그래프에서 SPARQL 쿼리의 바 차트 렲시에 있어 정확한 계산이 수분에서 수시간이 소요되는 성능 저하 문제를 해결하기 위해.
• 기존 최고 수준의 방법들인 Wander Join과 비교해도 추정 오차를 감소시키는 온라인 집계 알고리즘을 설계하기 위해, 특히 고선택성 및 고유 수 집계 상황에서의 성능 향상을 위해.
• 정확한 시각화를 위해 필수적인 DISTINCT 연산자 하에 적용 가능한 편향 없는 추정기법을 개발하기 위해.
• 성능 저하 없이도 수렴 속도와 정확도를 향상시키기 위해 온라인 집계 중 정확한 계산(캐시 트라이 조인을 통한)을 선택적으로 통합하기 위해.

제안 방법

• Audit Join은 Wander Join의 무작위 보행 메커니즘과 캐시 트라이 조인 알고리즘을 활용한 선택적 정확한 계산을 결합하여 거부된 경로의 수를 줄이고 수렴 속도를 향상시킨다.
• 각 단계에서 선택도를 추정하고, 추정된 비용이 낮을 경우 나머지 접미사 공간에 대해 무작위 보행에서 정확한 계산으로 전환한다.
• 고유 수 집계에 대해 편향이 없고 증명 가능한 추정기법을 도입하여 기존 온라인 집계 방법의 핵심 한계를 해결한다.
• 실행 중 동적으로 추정기법을 업데이트하여, 고유 수 집계 조건에서도 추정치의 기대값이 진짜 값과 일치함을 보장한다.
• 사용자 상호작용 세 가지 유형—클래스 확장, 속성 확장, 주어진/목적어 확장—을 지원하며, 각각 새로운 바 차트를 인터랙티브 탐색 파이프라인에서 생성한다.
• DBpedia와 LinkedGeoData에서 무작위로 생성된 탐색 쿼리를 사용하여 시스템을 평가하였으며, Wander Join 및 정확한 실행 방식과의 오차 대비 계산 시간을 비교하였다.

실험 결과

연구 질문

• RQ1 선택적 정확한 계산을 통한 온라인 집계는 순수한 온라인 집계 대비 RDF 바 차트 시각화에서 추정 오차를 줄일 수 있는가?
• RQ2 제안된 고유 수에 대한 편향 없는 추정기법은 지식 그래프 탐색 워크로드에서 정확도를 향상시키는가?
• RQ3 캐시 트라이 조인을 통한 정확한 부분 계산 통합이 인터랙티브 RDF 탐색에서 수렴 속도와 오차 감소에 어떤 영향을 미치는가?
• RQ4 다양한 탐색 깊이와 지식 그래프 크기에서 Audit Join은 오차 감소 및 런타임 효율성 측면에서 Wander Join을 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 고선택성 및 중복이 많은 쿼리가 포함된 다양한 지식 그래프에서 Audit Join의 성능 이점은 일관되게 유지되는가?

주요 결과

• Audit Join은 대부분의 경우 분 이내의 시간 내에 평균 오차가 1% 미만이 되도록 하며, Wander Join 대비 추정 오차를 수 개의 주요 단위로 감소시킨다.
• 순수한 온라인 집계(Wander Join)와 정확한 실행(Virtuoso 및 캐시 트라이 조인)보다도 수렴 속도가 상당히 빠르며, 이는 인터랙티브 탐색을 가능하게 한다.
• 고유 수가 아닌 경우에도 Audit Join은 Wander Join을 상당한 격차로 능가하며, 부분 정확한 계산의 이점이 DISTINCT 연산자 외부로도 확장됨을 보여준다.
• Wander Join의 경우 선택도와 쿼리 복잡도가 증가할수록 거부된 경로의 수가 증가하여 수렴 속도가 느려지지만, Audit Join은 고거부율 세그먼트를 정확한 계산으로 대체함으로써 이를 완화한다.
• 탐색 단계 수가 증가할수록 Audit Join이 Wander Join에 비해 성능 향상 비율이 커지며, 더 깊고 복잡한 쿼리에서의 이점이 점점 더 두드러진다.
• 캐시 트라이 조인을 통한 정확한 계산은 Virtuoso에서 수시간이 걸리던 런타임을 수십 초로 단축하지만, 여전히 인터랙티브 사용과는 호환되지 않는다. Audit Join의 온라인 집계는 이 격차를 효과적으로 메운다.