[논문 리뷰] Kyrix: Interactive Visual Data Exploration at Scale

Wenbo Tao, Xiaoyu Liu외 3명|arXiv (Cornell University)|2019. 05. 12.

Data Visualization and Analytics참고 문헌 18인용 수 4

한 줄 요약

Kyrix는 선언적 언어를 사용하여 개발자가 확장성 있고 상호작용 가능한 시각적 데이터 탐색 애플리케이션을 구축할 수 있도록 해주는 종단 간 시스템이다. 동적 박스 가져오기, 공간 색인, 예측 프리패칭과 같은 혁신적인 최적화 기법을 통해 성능 연구에서 기존의 타일 기반 가져오기 방식을 뛰어넘는 500ms 미만의 반응 시간을 달성한다.

ABSTRACT

Scalable interactive visual data exploration is crucial in many domains due to increasingly large datasets generated at rapid rates. Details-on-demand provides a useful interaction paradigm for exploring large datasets, where users start at an overview, find regions of interest, zoom in to see detailed views, zoom out and then repeat. This paradigm is the primary user interaction mode of widely-used systems such as Google Maps, Aperture Tiles and ForeCache. These earlier systems, however, are highly customized with hardcoded visual representations and optimizations. A more general framework is needed to facilitate the development of visual data exploration systems at scale. In this paper, we present Kyrix, an end-to-end system for developing scalable details-on-demand data exploration applications. Kyrix provides developers with a declarative model for easy specification of general visualizations. Behind the scenes, Kyrix utilizes a suite of performance optimization techniques to achieve a response time within 500ms for various user interactions. We also report results from a performance study which shows that a novel dynamic fetching scheme adopted by Kyrix outperforms tile-based fetching used in earlier systems.

연구 동기 및 목표

• 테라바이트 및 페타바이트 규모의 데이터셋을 다루는 분야에서 확장성 있고 상호작용 가능한 시각적 데이터 탐색의 증가하는 수요를 해결하기 위해.
• 기존 시스템이 매우 맞춤형이어서 일반 개발자 사용에 있어 일반화 능력이 떨어지는 한계를 극복하기 위해.
• 스페이셜 색인, 캐싱, 프리패칭과 같은 성능 최적화 기법을 선언적 시각화 사양과 통합한 일반 목적 프레임워크를 제공하기 위해.
• 대규모 데이터셋에서 500ms 이내의 반응 시간을 확보하여 유연하고 반응성이 뛰어난 세부 정보 요청 상호작용(줌 인/아웃, 이동)을 가능하게 하기 위해.
• 개발자가 저수준 성능 관련 고려사항을 추상화함으로써 확장 가능한 시각화 애플리케이션 개발을 가속화하기 위해.

제안 방법

• Kyrix는 시각화 로직을 저수준 구현 세부 정보에서 분리하기 위해 선언적 도메인 특화 언어(DSL)를 사용하여 시각화를 기술한다.
• 시스템은 시각화 사양을 공간 색인 및 데이터 구조의 사전 계산을 포함한 최적화된 백엔드 작업으로 컴파일한다.
• Kyrix는 사용자 상호작용 패턴에 따라 적응적으로 데이터를 가져오는 새로운 동적 박스 가져오기 메커니즘을 적용하여 중복 전송을 줄인다.
• 사용자 탐색을 예측하고 이동 및 줌 인/아웃 중 지연을 최소화하기 위해 예측 프리패칭과 메모리 내 캐싱을 통합한다.
• 백엔드는 대규모 데이터를 처리하기 위해 병렬 다중 노드 DBMS를 활용하여 페타바이트 규모에서의 성능을 보장한다.
• 프론트엔드는 부드러운 전환 효과를 사용하여 시각화를 렲시하고, 여러 연결된 뷰 간의 상호작용을 동기화한다.

실험 결과

연구 질문

• RQ1 저수준 성능 전문 지식이 없이도 확장성 있고 상호작용 가능한 시각적 데이터 탐색을 가능하게 하는 일반 목적의 시스템을 어떻게 설계할 수 있는가?
• RQ2 대규모 데이터셋에서 이동 및 줌 인/아웃 상호작용 중 반응 시간을 500ms 이내로 줄이기 위해 효과적인 최적화 기법은 무엇인가?
• RQ3 성능 및 확장성 측면에서 동적 박스 가져오기 방식은 전통적인 타일 기반 가져오기 방식보다 어떻게 비교되는가?
• RQ4 선언적 시각화 사양은 상호작용 성능을 확보하기 위해 서버 측 데이터 관리 및 최적화와 효과적으로 통합될 수 있는가?
• RQ5 다중 연결된 시각화를 원활하게 통합하고 상호작용을 동기화하기 위한 아키텍처 패턴은 무엇인가?

주요 결과

• Kyrix의 동적 박스 가져오기 방식은 성능 벤치마크에서 기존의 타일 기반 가져오기 방식을 능가하여 데이터 전송과 지연을 줄였다.
• 다양한 데이터셋에서 이동 및 줌 인/아웃 상호작용에 대해 500ms 이내의 반응 시간을 달성하여 부드러운 상호작용의 기준을 충족시켰다.
• 공간 색인, 예측 프리패칭, 캐싱의 통합은 상호작용 탐색 중 반응성을 크게 향상시켰다.
• Kyrix는 복잡한 성능 최적화 기법을 추상화함으로써 개발자가 고수준 선언적 언어를 사용해 확장 가능한 시각화를 구축할 수 있도록 했다.
• Kyrix는 연결된 뷰 및 부드러운 줌 전환과 같은 복잡한 상호작용 패턴을 지원하여 대규모 데이터셋에서의 사용자 경험을 향상시켰다.
• Kyrix는 병렬 다중 노드 DBMS 아키텍처를 활용하여 페타바이트 규모의 데이터에까지 확장 가능하도록 설계되었다.