[논문 리뷰] Effortless Data Exploration with zenvisage: An Expressive and Interactive Visual Analytics System

Tarique Siddiqui, Albert Kim외 3명|arXiv (Cornell University)|2016. 04. 12.

Data Visualization and Analytics참고 문헌 48인용 수 19

한 줄 요약

이 논문은 ZQL—비주얼 조작 및 조합을 위한 도메인 특화 언어—를 통해 데이터 탐색을 간편하게 구현할 수 있는 표현력 있고 상호작용 가능한 시각적 분석 시스템인 ZenVisage를 소개한다. 차원 기반 반복, 기능적 원소 T(추세 분석) 및 D(이질성 측정), 그리고 플러그인 방식의 사용자 정의 함수를 결합함으로써 ZenVisage는 최적화된 SQL 기반 실행 및 병렬 처리를 통해 추세 필터링, 유사도 검색, 이방성 탐지와 같은 복잡한 분석 작업을 지원한다.

ABSTRACT

Data visualization is by far the most commonly used mechanism to explore data, especially by novice data analysts and data scientists. And yet, current visual analytics tools are rather limited in their ability to guide data scientists to interesting or desired visualizations: the process of visual data exploration remains cumbersome and time-consuming. We propose zenvisage, a platform for effortlessly visualizing interesting patterns, trends, or insights from large datasets. We describe zenvisage's general purpose visual query language, ZQL ("zee-quel") for specifying the desired visual trend, pattern, or insight - ZQL draws from use-cases in a variety of domains, including biology, mechanical engineering, climate science, and commerce. We formalize the expressiveness of ZQL via a visual exploration algebra, and demonstrate that ZQL is at least as expressive as that algebra. While analysts are free to use ZQL directly, we also expose ZQL via a visual specification interface that we describe in this paper. We then describe our architecture and optimizations, preliminary experiments in supporting and optimizing for ZQL queries in our initial zenvisage prototype, and a user study to evaluate whether data scientists are able to effectively use zenvisage for real applications.

연구 동기 및 목표

• 코드를 작성하지 않고도 사용자가 복잡한 시각적 분석 작업을 표현할 수 있도록 하여 상호작용적이고 확장 가능한 데이터 탐색의 과제를 해결하고자 한다.
• 저수준의 데이터 연산을 고수준에서 조합 가능한 쿼리로 추상화함으로써 대규모 데이터 시각화를 탐색할 때 발생하는 인지적 및 기술적 부담을 줄이고자 한다.
• 차원 기반 반복, 추세 및 유사도 함수, 확장 가능한 사용자 정의 함수와 같은 표현력 있는 쿼리 구조를 통해 사용자 중심의 탐색을 유연하게 지원하고자 한다.
• SQL 기반의 시각화 계산을 병렬 처리하고 사전 실행을 통해 성능을 최적화함으로써 쿼리 성능을 향상시키고자 한다.

제안 방법

• ZQL은 도메인 특화 언어로서 축 변수, 시각화 컬렉션, 필터링 및 최적화 연산자로 프로세스 열을 처리함으로써 사용자가 시각화를 정의할 수 있도록 한다.
• 시스템은 두 가지 핵심 기능 원소를 사용한다: T(f)는 시각화 f에 대해 실수 값의 추세 점수(예: 기울기)를 계산하고, D(f,f')는 유클리드 거리 또는 쿨백-라이블러 발산과 같은 메트릭을 사용해 두 시각화 간의 이질성을 측정한다.
• ZQL은 다중 차원(예: 제품, 위치)을 기반으로 한 반복을 지원하여 시각화 컬렉션의 조합 및 필터링을 가능하게 한다.
• 시스템은 ZQL 쿼리를 데이터베이스 실행을 위한 최적화된 SQL 쿼리로 변환하며, 결과는 f# 태그로 레이블이 붙은 다차원 배열에 압축된다.
• 쿼리 계획은 argmax/argmin과 같은 연산에 대해 자동으로 루프 중첩을 생성하며, ZQL 컴파일러는 다중 쿼리 최적화 및 사전 실행과 같은 최적화 기법을 적용하여 성능을 향상시킨다.
• 플러그인 방식의 자바 기반 함수를 통해 사용자는 ZQL에 커스텀 로직을 확장할 수 있으나, 이러한 함수는 블랙박스로 간주되며 컴파일러에 의해 최적화되지 않는다.

실험 결과

연구 질문

• RQ1 사용자가 저수준 코드를 작성하지 않고도 대규모 시각화 컬렉션을 효율적으로 탐색할 수 있는 방법은 무엇인가?
• RQ2 추세 탐지, 유사도 검색, 이방성 식별과 같은 일반적인 시각적 분석 작업을 지원하기 위해 필요한 표현력 있는 쿼리 원소는 무엇인가?
• RQ3 수천 개의 시각화를 처리할 때 시각적 쿼리 실행의 성능을 어떻게 최적화할 수 있는가?
• RQ4 고수준의 시각적 쿼리는 얼마나 효율적인 데이터베이스 연산으로 컴파일될 수 있는가?

주요 결과

• ZQL은 최소한의 표현력 있는 원소로 추세 필터링, 유사도 검색, 이방성 탐지와 같은 광범위한 시각적 분석 작업을 지원한다.
• 기능 원소 T와 D의 사용은 사용자가 커스텀 코드를 작성하지 않고도 복잡한 시각적 성질과 비교를 표현할 수 있도록 한다.
• 독립적인 c-node SQL 쿼리의 병렬 처리를 통해 다중 쿼리 최적화로 인해 디스크 I/O가 감소하여 성능 향상이 뚜렷하다.
• c-node를 위한 슈퍼셋 쿼리의 사전 실행은 상호의존적인 쿼리 계획에서 지연 시간을 줄여주며, 예상되는 데이터를 사전에 확보함으로써 성능을 향상시킨다.
• ZQL을 최적화된 SQL 계획으로 변환할 수 있는 시스템의 능력은 복잡한 시각적 분석 워크플로우의 효율적 실행을 가능하게 한다.
• 플러그인 함수는 ZQL의 기능을 확장하지만, 컴파일러에 의해 자동 최적화되지 않기 때문에 표현력과 성능 사이의 상충 관계를 드러낸다.