[논문 리뷰] Towards Scalable Visual Exploration of Very Large RDF Graphs

Nikos Bikakis, John Liagouris외 3명|arXiv (Cornell University)|2015. 01. 01.

Data Visualization and Analytics참고 문헌 20인용 수 4

한 줄 요약

이 논문은 매우 큰 RDF 그래프를 스케일러블하게 시각화하기 위한 디스크 기반 플랫폼인 graphVizdb를 제시한다. 이 플랫폼은 파artition 기반 레이아웃 전략과 노드 좌표의 R-tree 색인을 결합하여 효율적인 공간 쿼리(예: 윈도우 쿼리)를 가능하게 하며, 렌더링 시 보이는 그래프 영역만 실시간으로 렲시화함으로써 탐색 및 탐색 과정에서의 레이아웃 및 통신 오버헤드를 크게 감소시킨다.

ABSTRACT

In this paper, we outline our work on developing a disk-based infrastructure for efficient visualization and graph exploration operations over very large graphs. The proposed platform, called graphVizdb, is based on a novel technique for indexing and storing the graph. Particularly, the graph layout is indexed with a spatial data structure, i.e., an R-tree, and stored in a database. In runtime, user operations are translated into efficient spatial operations (i.e., window queries) in the backend.

연구 동기 및 목표

• 메인 메모리 용량을 초과하는 매우 큰 RDF 그래프(예: 3억 개 이상의 노드/엣지를 가진 Wikidata)를 시각화하는 도전 과제를 해결한다.
• 모든 상호작용마다 전체 그래프를 다시 로드하고 재레이아웃해야 하는 전통적인 메모리 기반 시각화 도구에서 발생하는 성능 저하 문제를 극복한다.
• 백엔드 공간 쿼리 최적화를 통해 대규모이고 농도 높은 RDF 그래프에 대한 효율적이고 실시간 탐색 및 상호작용을 가능하게 한다.
• 레이아웃 계산을 렌더링에서 분리하기 위해 사전에 계산하고 데이터베이스에 영구 저장한 그래프 좌표를 사용한다.
• 그래프 구조에 대한 계층적 또는 클러스터링 기반의 가정에 의존하지 않는 일반적이고 데이터셋에 관계없는 솔루션을 제공한다.

제안 방법

• 레이아웃 중 메모리 압박을 줄이기 위해 그래프 분할 알고리즘을 사용해 입력 RDF 그래프를 더 작은 부분그래프로 분할한다.
• 각 파artition에 대해 독립적으로 표준 그래프 레이아웃 알고리즘을 적용하며, 레이아웃 중에 상호 파artition 간(크로스) 엣지를 제외함으로써 성능을 향상시킨다.
• 겹침과 총 크로스 엣지 길이를 최소화하도록 그리디 알고리즘을 사용해 시각화된 파artition들을 전역 좌표 평면에 배열하고 통합한다.
• 관계형 데이터베이스(예: MySQL)에 저장된 R-tree 공간 색인을 사용해 최종 노드 및 엣지 좌표를 색인화한다.
• 사용자 상호작용(예: 줌, 패닝)을 R-tree 색인 기반 윈도우 쿼리로 변환하여 데이터베이스에서 보이는 그래프 구성 요소만 검색한다.
• 클라이언트에서 경량 자바스크립트 라이브러리(mxgraph)를 사용해 검색된 그래프 조각만 렌더링함으로써 프론트엔드 렌더링 및 통신 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 메인 메모리 용량을 초과하는 매우 큰 RDF 그래프를 어떻게 효율적으로 시각화할 수 있는가?
• RQ2 공간 색인 기법을 대규모 그래프 시각화에서 탐색 및 렌더링을 가속화하는 데 효과적으로 적용할 수 있는가?
• RQ3 파artition 기반 레이아웃 전략은 빌드 시간과 메모리 사용량을 얼마나 줄일 수 있으며, 동시에 시각적 일관성은 유지할 수 있는가?
• RQ4 공간적으로 색인된 그래프 좌표를 기반으로 한 윈도우 쿼리는 대규모 RDF 그래프에 대한 실시간, 상호작용 가능한 탐색을 가능하게 하는가?
• RQ5 다양한 RDF 데이터셋에 걸쳐 확장 가능하고 효율적인 비계층적 접근 방식의 그래프 시각화는 어떻게 실현할 수 있는가?

주요 결과

• R-tree 색인된 좌표를 사용하면 공간 윈도우 쿼리를 통해 보이는 그래프 영역만 효율적으로 검색할 수 있어 백엔드 및 프론트엔드 데이터 전송을 크게 감소시킨다.
• 사전에 계산하고 영구 저장한 레이아웃을 통해 탐색 중에 다시 레이아웃을 계산할 필요가 없어져 낮은 지연 시간의 상호작용이 가능해진다.
• 파artition 기반 레이아웃 전략을 통해 더 작은 관리 가능한 부분그래프에 국한된 레이아웃 작업으로 대규모 그래프 처리를 확장 가능하게 한다.
• 시스템은 상호작용 가능한 탐색, 다중 수준 탐색, 키워드 검색을 지원하여 실제 세계의 RDF 데이터셋에 대한 실용적인 사용성을 입증한다.
• MySQL, Jena, Metis, Graphviz, mxgraph를 사용한 프로토타입 구현은 제안된 아키텍처의 실현 가능성과 성능 이점을 확인한다.