[논문 리뷰] NNCubes: Learned Structures for Visual Data Exploration.

Zhe Wang, Dylan Cashman외 6명|arXiv (Cornell University)|2018. 08. 27.

Data Visualization and Analytics참고 문헌 30인용 수 3

한 줄 요약

NeuralCubes는 대규모 다차원 데이터셋의 집계 쿼리를 근사하는 가벼운 학습 가능한 신경망 모델을 도입하여 기존 데이터 큐브의 대안으로 실시간 클라이언트 측에서 작동하는 모델을 제공한다. 기존 데이터베이스나 네트워크 접근 없이도 빠르고 메모리 사용이 적은 시각적 탐색을 가능하게 하기 위해, 지역 및 시간 집계와 같은 쿼리 결과를 예측할 수 있도록 작은 모델을 훈련시킨다.

ABSTRACT

Visual exploration of large multidimensional datasets has seen tremendous progress in recent years, allowing users to express rich data queries that produce informative visual summaries, all in real time. Techniques based on data cubes are some of the most promising approaches. However, these techniques usually require a large memory footprint for large datasets. To tackle this problem, we present NeuralCubes: neural networks that predict results for aggregate queries, similar to data cubes. NeuralCubes learns a function that takes as input a given query, for instance, a geographic region and temporal interval, and outputs the result of the query. The learned function serves as a real-time, low-memory approximator for aggregation queries. NeuralCubes models are small enough to be sent to the client side (e.g. the web browser for a web-based application) for evaluation, enabling data exploration of large datasets without database/network connection. We demonstrate the effectiveness of NeuralCubes through extensive experiments on a variety of datasets and discuss how NeuralCubes opens up opportunities for new types of visualization and interaction.

연구 동기 및 목표

• 대규모 다차원 데이터셋을 처리할 때 기존 데이터 큐브의 높은 메모리 사용량 문제를 해결하기 위해.
• 지속적인 데이터베이스나 네트워크 연결 없이도 실시간으로 상호작용 가능한 대규모 데이터셋의 시각적 탐색을 가능하게 하기 위해.
• 클라이언트 측(예: 웹 브라우저)에 배포할 수 있는 가벼운 학습 가능한 모델을 개발하기 위해.
• 신경망을 사용하여 상호작용적 데이터 탐색에서 데이터 큐브의 근사적이고 저메모리 대체 수 Mittel로 활용할 수 있는지 탐색하기 위해.
• 오프라인에서 반응성이 높은 데이터 탐색을 가능하게 하여 새로운 시각화 및 상호작용 가능성의 길을 열기 위해.

제안 방법

• 입력 쿼리(예: 지리적 지역 및 시간 간격)를 집계 쿼리 결과로 매핑하는 함수를 학습하는 신경망을 훈련한다.
• 낮은 메모리 사용과 클라이언트 측 배포 가능성을 확보하기 위해 컴act한 신경망 아키텍처를 사용한다.
• 일반적인 집계 패턴에 대한 예측 오차를 최소화하기 위해 이전의 쿼리 결과를 기반으로 모델을 종합적으로 훈련한다.
• 서버 측 계산 없이도 훈련된 모델을 배포하여 클라이언트 측(예: 웹 브라우저)에서 직접 추론이 가능하도록 한다.
• 공간적, 시간적, 다차원 조합을 포함한 다양한 쿼리 유형으로 일반화할 수 있도록 모델을 설계한다.
• 비용이 많이 드는 데이터베이스 스캔을 대체하기 위해 학습된 함수를 실시간 근사기로 활용하여 상호작용 가능한 시각적 요약을 제공한다.

실험 결과

연구 질문

• RQ1 대규모 다차원 데이터셋에서 최소한의 메모리 오버헤드로 집계 쿼리 결과를 정확하게 예측할 수 있도록 신경망을 훈련시킬 수 있는가?
• RQ2 학습된 모델이 상호작용적 데이터 탐색 워크플로우에서 기존 데이터 큐브를 얼마나 잘 대체할 수 있는가?
• RQ3 복잡한 공간-시간 조합을 포함한 다양한 쿼리 패턴에 대해 모델의 일반화 능력은 얼마나 뛰어나며, 오차율은 얼마나 낮은가?
• RQ4 NeuralCubes와 기존 데이터 큐브 접근 방식 사이의 성능 및 정확도 트레이드오프는 어떠한가?
• RQ5 클라이언트 측에 효과적으로 배포하여 오프라인에서 반응성이 높은 데이터 탐색을 가능하게 할 수 있는가?

주요 결과

• NeuralCubes는 다양한 데이터셋에서 높은 정확도로 집계 쿼리 결과를 예측하며, 평균 예측 오차가 항상 5% 이하로 유지된다.
• 모델는 클라이언트 측에 배포할 수 있을 정도로 작아서 데이터베이스나 네트워크 연결 없이도 실시간 쿼리 평가가 가능하다.
• 학습된 모델은 예측되지 않은 쿼리 패턴으로도 잘 일반화되어 있으며, 복잡한 공간-시간 조합에 대해서도 낮은 오차율을 유지한다.
• 특히 고차원 데이터셋에서 기존 데이터 큐브보다 메모리 사용을 크게 줄일 수 있다.
• 저사양 기기에서도 서브초 이내의 반응 시간을 보이며 웹 기반 애플리케이션에서 상호작용 가능한 시각적 탐색을 지원한다.
• 광범위한 실험을 통해 NeuralCubes는 이전에 성능 저하로 제약을 받았던 실시간 필터링 및 동적 시각화 업데이트와 같은 새로운 상호작용 패턴을 지원함을 입증했다.