[논문 리뷰] Visualization of Big Spatial Data using Coresets for Kernel Density Estimates

Yan Zheng, Yi Ou외 2명|arXiv (Cornell University)|2017. 09. 13.

Data Visualization and Analytics참고 문헌 1인용 수 4

한 줄 요약

이 논문은 커페어(coresets)를 사용하여 커널 밀도 추정(KDE)을 위한 정확하고 컴act한 대규모 공간 데이터셋 표현을 제안하며, 랜덤 샘플링에 비해 시각화 오차를 크게 감소시킨다. 동적 코어셋 해상도 조정 방법과 낮은 밀도 잔상(artifacts)을 제거하는 새로운 노이즈 제거 기법을 도입하여, 증명 가능한 오차 한계를 갖는 효율적이고 인터랙티브한 대규모 지오스페이셜 데이터 시각화 분석을 가능하게 한다.

ABSTRACT

The size of large, geo-located datasets has reached scales where visualization of all data points is inefficient. Random sampling is a method to reduce the size of a dataset, yet it can introduce unwanted errors. We describe a method for subsampling of spatial data suitable for creating kernel density estimates from very large data and demonstrate that it results in less error than random sampling. We also introduce a method to ensure that thresholding of low values based on sampled data does not omit any regions above the desired threshold when working with sampled data. We demonstrate the effectiveness of our approach using both, artificial and real-world large geospatial datasets.

연구 동기 및 목표

• 모든 점을 렲러링하는 것이 계산적으로 불가능한 매우 큰 지오로케이션된 데이터셋을 뷰어블라이징하는 데 도전하는 것.
• 기본적인 랜덤 샘플링 기법에 비해 커널 밀도 추정의 시각화 오차를 줄이는 것.
• 재계산 없이도 코어셋 해상도를 동적으로 인터랙티브하게 조정할 수 있도록 하는 것.
• 의미 있는 공간 패턴에서 시각적으로 방해가 되는 가짜 저밀도 잔상(노이즈)을 제거하는 것.
• 이론적 오차 보장을 갖는 실용적이고 인터랙티브한 시스템을 통해 대규모 공간 데이터의 시각적 분석을 가능하게 하는 것.

제안 방법

• 모든 쿼리 포인트에 대해 최악의 경우 오차 한계(L∞)를 보장하는 우선순위 기반 샘플링 방법을 사용하여 커널 밀도 추정을 위한 코어셋을 구성하는 것.
• 원본 데이터셋 크기와 무관하게, 희망하는 오차 매개변수 ε에만 의존하는 코어셋 크기의 유지.
• SIGMOD 2012 논문 기반 백엔드 코어셋 생성기 구현을 통해 증분적 코어셋 구축을 위한 우선순위 순서로 정렬된 데이터 스트림을 생성하는 것.
• D3.js와 Canvas를 사용하여 KDE를 렌더링하고 실시간 매개변수 조정 및 시각화를 허용하는 인터랙티브 프론트엔드 설계.
• 사용자 지정 임계치와 투과 함수 조정 기반으로 고립된 저밀도 영역을 식별하고 제거하는 노이즈 제거 메커니즘 도입.
• 사전에 우선순위 순서로 정렬된 데이터셋을 준비하여 스트림의 임의의 프리픽스가 감소하는 오차를 갖는 유효한 코어셋을 형성하도록 함으로써 동적 매개변수 업데이트를 가능하게 하는 것.

Figure 1: Crimes from 2006 to 2013 in Philadelphia, the full dataset (left) with 0.7 million points and a coreset (right) with only 5300 points.

실험 결과

연구 질문

• RQ1 커널 밀도 추정을 위한 코어셋이 대규모 공간 데이터셋에서 랜덤 샘플링보다 낮은 최악의 경우 오차를 달성할 수 있는가?
• RQ2 재계산 없이도 코어셋을 효율적으로 업데이트하거나 크기를 조정하여 인터랙티브 시각화에 활용할 수 있는가?
• RQ3 통계적으로 유의미하지 않지만 분석가의 집중을 방해하는 저밀도 시각적 잔상(artifacts)을 효과적으로 제거할 수 있는 기법은 무엇인가?
• RQ4 코어셋 기반 시스템이 증명 가능한 정확도를 갖는 실시간 인터랙티브 탐색을 대규모 공간 데이터셋에 대해 지원할 수 있는가?
• RQ5 제안된 방법이 공간 밀도 추정의 시각적 정확도와 오차 한계 측면에서 랜덤 샘플링에 비해 어떻게 비교되는가?

주요 결과

• 코어셋 기반 KDE 방법은 랜덤 샘플링에 비해 유의미하게 낮은 최악의 경우 오차(L∞)를 달성하여 공간 밀도의 더 정확한 표현을 보장한다.
• 우선순위 순서로 정렬된 코어셋 스트림은 보장된 오차 한계를 갖는 동적이고 증분적인 코어셋 크기 조정을 가능하게 하여 재계산 없이도 인터랙티브 탐색을 가능하게 한다.
• 제안된 노이즈 제거 기법은 시각적으로 두드러지지만 통계적으로 의미가 없는 고립된 저밀도 영역을 성공적으로 제거하여 분석가가 실제 패턴에 집중할 수 있도록 한다.
• 시스템은 합성 데이터셋과 실세계 데이터셋(필라델피아의 70만 점의 범죄 데이터 포함) 모두에서 효과를 입증하였으며, 코어셋 크기가 단 5,300점에 불과하다.
• 저밀도 영역의 임계치 설정이 실제 고밀도 영역을 누락하지 않도록 보장하여 중요한 공간적 특징을 유지한다.
• 구현 코드는 BSD 3-clause 라이선스 하에 공개되어 있어 커뮤니티의 채택 및 더 큰 지오스페이셜 분석 플랫폼에의 통합을 지원한다.

Figure 2: Screenshot image from STORM [ 5 ] showing heatmap/KDE of tweet density in the USA.