[논문 리뷰] Exploration and Visualization in the Web of Big Linked Data: A Survey of the State of the Art

Nikos Bikakis, Timos Sellis|arXiv (Cornell University)|2016. 01. 29.

Semantic Web and Ontologies인용 수 70

한 줄 요약

이 종합 검토는 대규모 연결된 데이터(Big Linked Data)를 위한 탐색 및 시각화 시스템을 검토하며, 확장성과 성능을 핵심 과제로 규명한다. 데이터베이스 및 시각화 공동체의 최신 기법을 평가하고, 웹의 연결된 데이터(Web of Linked Data, WoD) 시스템을 분석하여, 메모리 내 처리에 의존하고 샘플링 또는 집계와 같은 근사 기법이 부족함으로써 대규모이고 동적인 데이터셋을 다루는 데 광범위한 한계가 있음을 드러낸다.

ABSTRACT

Data exploration and visualization systems are of great importance in the Big Data era. Exploring and visualizing very large datasets has become a major research challenge, of which scalability is a vital requirement. In this survey, we describe the major prerequisites and challenges that should be addressed by the modern exploration and visualization systems. Considering these challenges, we present how state-of-the-art approaches from the Database and Information Visualization communities attempt to handle them. Finally, we survey the systems developed by Semantic Web community in the context of the Web of Linked Data, and discuss to which extent these satisfy the contemporary requirements.

연구 동기 및 목표

• 빅 데이터 시대에 대규모, 동적, 이질적인 데이터셋을 탐색하고 시각화하는 데 있어 핵심 과제를 규명하기 위해.
• 기존 데이터베이스 및 정보 시각화 시스템이 대규모 데이터 탐색에서 확장성과 상호작용을 어떻게 다루는지 평가하기 위해.
• 웹의 연결된 데이터(WoD) 시스템이 현대적 요구사항인 확장성, 성능, 사용자 맞춤화를 얼마나 충족하는지 평가하기 위해.
• 기존 WoD 시스템의 한계, 특히 메모리 내 처리에 대한 의존성과 근사 기법의 부재를 부각하기 위해.
• 대규모 연결된 데이터를 위한 확장성 있고, 상호작용이 가능하며, 사용자 인식이 가능한 탐색 및 시각화 시스템을 구축하기 위한 향후 연구 방향 제안하기 위해.

제안 방법

• 데이터베이스 및 정보 시각화 공동체에서 제공하는 기존 데이터 탐색 및 시각화 시스템을 조사하고 분류하기 위해.
• WoD 전용 시스템(예: Sgvizler, Visualbox, LDVizWiz)을 분석하여 데이터 유형, 시각화 유형, 확장성 메커니즘 지원 여부를 평가하기 위해.
• 대규모 데이터셋을 관리하기 위해 샘플링, 필터링, 집계와 같은 근사 기법을 사용하는지 여부를 기반으로 시스템 평가하기 위해.
• 시스템이 전체 데이터를 메모리에 로드하는 대신 외부 스토리지나 동적 데이터 검색을 사용하는지 여부를 분석하여 메모리 및 I/O 효율성 평가하기 위해.
• 그래프 기반 시각화 시스템을 검토하여 대규모 RDF 그래프를 처리하는 데서 발생하는 한계를 파악하고, 계층적 추상화 또는 디스크 기반 접근 방식을 제안하기 위해.
• 확장성과 반응성 향상을 위해 고급 데이터 구조(예: Nanocubes, HETree)와 캐싱/프리패칭 기법을 통합하는 방안 제안하기 위해.

실험 결과

연구 질문

• RQ1 현재 웹의 연결된 데이터(WoD) 시스템이 대규모이고 동적인 데이터셋의 확장 가능한 탐색을 어느 정도 지원하는가?
• RQ2 기존 시각화 시스템은 제한된 화면 영역에서 수십억 개의 데이터 객체를 렌더링할 때 어떻게 시각적 확장성을 다루는가?
• RQ3 샘플링, 집계, 필터링과 같은 근사 기법이 WoD 시스템에서 확장 가능한 데이터 탐색을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 대부분의 WoD 시스템이 대규모 데이터셋과의 효율적 상호작용을 지원하지 못하는 이유는 무엇이며, 이를 해결하기 위해 어떤 아키텍처적 변화가 필요한가?
• RQ5 사용자 선호도와 상호작용 패턴은 대규모 데이터 탐색 시스템의 사용성과 맞춤화를 향상시키기 위해 어떻게 활용될 수 있는가?

주요 결과

• 대부분의 WoD 탐색 및 시각화 시스템은 전체 데이터셋을 주 메모리에 로드하기 때문에 확장성을 지원하지 않으며, 이로 인해 소규모 데이터셋에 국한된다.
• SynopsViz와 VizBoard와 같은 소수의 시스템만이 증분 데이터 검색이나 샘플링과 같은 근사 기법을 활용하며, 이는 대규모 데이터를 처리하는 데 필수적이다.
• 대부분의 WoD 시스템은 디스크 기반 스토리지나 캐싱 메커니즘을 사용하지 않아 대규모 또는 스트리밍 데이터셋에서 성능이 열 劣하다.
• RDF 데이터를 위한 그래프 기반 시각화 시스템은 레이아웃 알고리즘에서 높은 메모리 사용으로 인해 일반적으로 확장성에 실패하며, 대부분 계층적 집계나 엣지 번들링을 지원하지 않는다.
• 사용자 상호작용 패턴과 시스템 반응성 간의 통합이 부족하여, 개인화된 추천이나 적응형 시각화 전략을 제공하는 시스템은 소수에 불과하다.
• 스포티오피얼 데이터를 위한 Nanocubes나 수치 데이터를 위한 HETree와 같은 WoD 워크로드에 특화된 확장 가능한 데이터 구조의 부재로 현대 시스템의 성능이 제한된다.