[論文レビュー] An Entropy Maximizing Geohash for Distributed Spatiotemporal Database Indexing

Taylor Arnold|arXiv (Cornell University)|Jun 16, 2015

Data Management and Algorithms参考文献 20被引用数 4

ひとこと要約

本稿では、均一なグリッドセルではなくデータ量に基づいて空間インデキシングをバランスさせるエントロピー最大化型ジオハッシュを提案する。モデルベースのアプローチによりエントロピーを最適化し、分散時空間データベースにおける負荷の不均衡を低減する。ハッシュプレフィックス長ごとにほぼ均一なデータ分布を達成し、高密度領域におけるクエリパフォーマンスの向上とI/Oオーバーヘッドの低減を実現する。

ABSTRACT

We present a modification of the standard geohash algorithm based on maximum entropy encoding in which the data volume is approximately constant for a given hash prefix length. Distributed spatiotemporal databases, which typically require interleaving spatial and temporal elements into a single key, reap large benefits from a balanced geohash by creating a consistent ratio between spatial and temporal precision even across areas of varying data density. This property is also useful for indexing purely spatial datasets, where the load distribution of large range scans is an important aspect of query performance. We apply our algorithm to data generated proportional to population as given by census block population counts provided from the US Census Bureau.

研究の動機と目的

• 均一な空間グリッド上での不均一なデータ分布が原因で生じる分散地理空間および時空間データベースにおける負荷の不均衡を是正すること。
• ハッシュプレフィックス長ごとの一貫したデータ量を保証することでクエリパフォーマンスを向上させ、誤検出の低減とスキャン断片化の最小化を図ること。
• 人口に比例するサンプリングを用いてデータ密度に適応するモデルベースのジオハッシュを開発し、スケーラビリティと効率性を向上させること。
• HBase や MongoDB などの既存のジオハッシュベースのシステムとのシームレスな統合を可能にするために、最小限の計算オーバーヘッドで後方互換性を維持すること。

提案手法

• 本手法は、小規模な空間データサンプル（例：米国国勢調査のブロック人口）に基づいて訓練されたデータ駆動型モデルを用い、データ量をバランスさせる非均一な空間パーティションを定義する。
• 人口の量子化されたビンを基に線形補間を適用し、緯度経度座標をエントロピー最大化型ジオハッシュプレフィックスにマッピングする。
• アルゴリズムはビットごとのエントロピーを最大化することでジオハッシュプレフィックスを計算し、すべてのハッシュ長にわたりほぼ均一な情報量を保証する。
• 2パラメータ設計（$ q $：バランスに使用するビット数、$ m $：総ハッシュ長）を導入し、正確さとメモリオーバーヘッドのトレードオフを可能にする。
• 理論的境界と実世界の国勢調査データを用いた実証的検証により、ノイズやモデルのずれに対しても耐性を発揮する。
• 空間バケットをデータ量に合わせて整列させることで、空間的および時間的次元の効率的なインターリーブが可能となり、時空間キー設計の簡素化が図られる。

実験結果

リサーチクエスチョン

• RQ1 空間領域ではなくデータ量をバランスさせるジオハッシュを設計可能か。これにより分散データベースにおける負荷分散が改善されるか。
• RQ2 離散的データであっても、ビットごとのほぼ均一な情報量を達成するためのエントロピー最大化をジオハッシュ符号化に適用する方法は何か。
• RQ3 モデルのずれやデータノイズが、データバランス型ジオハッシュのパフォーマンスに与える影響は何か。実世界の条件下でもその耐性は高いか。
• RQ4 高密度地域において、エントロピー最大化型ジオハッシュは標準ジオハッシュと比較して、I/Oオーバーヘッドをどれほど低減し、クエリ効率を向上できるか。
• RQ5 計算コストが著しく増大しない範囲で、動的データストリームに対応するための再バランスを適応的に実行できるか。

主な発見

• エントロピー最大化型ジオハッシュは、カリフォルニアのような高密度地域において、ビットあたりほぼ完璧なエントロピー（15ビット精度で最大0.9）を達成し、負荷バランスの観点で標準ジオハッシュを顕著に上回った。
• 人口が少ない州、例えばアラスカやハワイではエントロピー性能が最も悪く（例：DCで平均0.75のビットあたりエントロピー）、本手法がデータの疎らさに敏感であることが示された。
• バランス型ジオハッシュは、圧縮を強化しても依然としてデータベースファイルサイズを縮小しており、データの局所性と符号化効率の向上を示している。
• 米国国勢調査データを用いた34州にわたり理論的・実証的検証が行われ、ランダムノイズやモデルのずれに対しても耐性を示した。
• 連続的データでは20ビットのバランス型ジオハッシュがほぼ理想に近いビットあたりエントロピーを達成したが、離散的データでは測定可能なエントロピー損失が生じ、特に人口が少ない州で顕著であった。
• 本手法により、標準ジオハッシュと比較して、1回のクエリあたりのスキャン回数が少なく、大規模な分散システムにおけるI/Oとスキャン調整のオーバーヘッドが低減された。