[論文レビュー] Visualization of Big Spatial Data using Coresets for Kernel Density Estimates

Yan Zheng, Yi Ou+2 more|arXiv (Cornell University)|Sep 13, 2017

Data Visualization and Analytics参考文献 1被引用数 4

ひとこと要約

本論文では、核密度推定（KDE）のためのコアセットを用いて、大規模な空間データセットの正確でコン pact な表現を提案する。ランダムサンプリングと比較して、可視化誤差を顕著に低減する。動的コアセット解像度調整法と、低密度アーティファクトを除去する新規ノイズ除去技術を導入し、理論的誤差境界を保証する、効率的でインタラクティブな大規模地理空間データの可視化分析を可能にする。

ABSTRACT

The size of large, geo-located datasets has reached scales where visualization of all data points is inefficient. Random sampling is a method to reduce the size of a dataset, yet it can introduce unwanted errors. We describe a method for subsampling of spatial data suitable for creating kernel density estimates from very large data and demonstrate that it results in less error than random sampling. We also introduce a method to ensure that thresholding of low values based on sampled data does not omit any regions above the desired threshold when working with sampled data. We demonstrate the effectiveness of our approach using both, artificial and real-world large geospatial datasets.

研究の動機と目的

• すべての点をレンダリングすることが計算的に非現実的な非常に大きな地理的位置データセットの可視化に取り組む。
• 標準的なランダムサンプリング手法と比較して、核密度推定における可視化誤差を低減する。
• 再計算をせずに、コアセット解像度を動的かつインタラクティブに調整できるようにする。
• 意味のある空間パターンから目をそらす、偽の低密度アーティファクト（ノイズ）を除去する。
• 理論的誤差保証を伴う、実用的でインタラクティブなコアセットベースのシステムを、大規模空間データの可視化分析に提供する。

提案手法

• すべてのクエリポイントに対して最悪ケース誤差境界（L∞）を保証する優先度ベースのサンプリング手法を用いて、核密度推定のためのコアセットを構築する。
• コアセットサイズが元のデータセットサイズに依存せず、望ましい誤差パラメータ ε のみに依存する。
• SIGMOD 2012 の研究に基づくバックエンドコアセット生成モジュールを実装し、段階的なコアセット構築を可能にする優先順序付きデータストリームを拡張して生成する。
• D3.js と Canvas を用いたインタラクティブなフロントエンドを設計し、KDE のレンダリングとリアルタイムのパrameter調整・可視化を可能にする。
• ユーザーが指定するしきい値とトランスファーファンクションの調整に基づき、孤立した低密度領域を特定して除去するノイズ除去メカニズムを導入する。
• 事前に優先順序付きデータセットを計算することで、ストリームの任意のプレフィックスが有効なコアセットを形成し、誤差が減少するように、動的パrameter更新を可能にする。

Figure 1: Crimes from 2006 to 2013 in Philadelphia, the full dataset (left) with 0.7 million points and a coreset (right) with only 5300 points.

実験結果

リサーチクエスチョン

• RQ1 核密度推定のためのコアセットは、大規模空間データセットにおいて、ランダムサンプリングよりも低い最悪ケース誤差を達成できるか？
• RQ2 再計算をせずに、コアセットを効率的に更新またはサイズ変更できるか？
• RQ3 統計的に有意でないが、アナリストの注意を散らす低密度の視覚的アーティファクトを効果的に除去する技術は何か？
• RQ4 コアセットベースのシステムは、理論的正確性を保証しながら、大規模空間データセットのリアルタイムでインタラクティブな探索を可能にするか？
• RQ5 本手法は、空間密度推定における視覚的忠実度と誤差境界の観点から、ランダムサンプリングと比較してどのように優れているか？

主な発見

• コアセットベースの KDE 法は、ランダムサンプリングと比較して、顕著に低い最悪ケース誤差（L∞）を達成し、空間密度のより正確な表現を保証する。
• 優先順序付きコアセットストリームにより、再計算なしに誤差境界が保証された動的かつ段階的なコアセットサイズ調整が可能となり、インタラクティブな探索が可能になる。
• 提案されたノイズ除去技術は、視覚的に目立つが統計的に有意でない孤立した低密度アーティファクトを効果的に除去し、実際のパターンに注目を向けるのを改善する。
• 本システムは、合成データおよび実世界のデータセット（フィラデルフィアの70万点の犯罪データを含む）の両方で有効性を示しており、わずか5,300点のコアセットで十分である。
• 低密度領域のしきい値処理が、実際の高密度領域を除外しないことを保証し、重要な空間的特徴を保持する。
• 実装は BSD 3-clause ライセンスで公開されており、コミュニティの採用や大規模な地理空間分析プラットフォームへの統合を支援する。

Figure 2: Screenshot image from STORM [ 5 ] showing heatmap/KDE of tweet density in the USA.