[論文レビュー] HDBSCAN: Density based Clustering over Location Based Services

Farhadur Rahman, Weimo Liu+4 more|arXiv (Cornell University)|Feb 11, 2016

Data Management and Algorithms参考文献 16被引用数 6

ひとこと要約

本稿では、LBS（位置ベースサービス）のデータベースに対してkNNクエリインターフェースのみを用いて密度ベースクラスタリングを可能にする、HDBSCANと呼ばれる新規アルゴリズムを提案する。空間を埋める適応的空間充填曲線（SFC）を用いて2次元点を1次元にマッピングすることで、変換されたデータをクラスタリングし、クラスタを統合して空間的構造を回復する。これにより、きびしいクエート制限下でも最小限のkNNクエリで高い精度を達成できる。

ABSTRACT

Location Based Services (LBS) have become extremely popular and used by millions of users. Popular LBS run the entire gamut from mapping services (such as Google Maps) to restaurants (such as Yelp) and real-estate (such as Redfin). The public query interfaces of LBS can be abstractly modeled as a kNN interface over a database of two dimensional points: given an arbitrary query point, the system returns the k points in the database that are nearest to the query point. Often, k is set to a small value such as 20 or 50. In this paper, we consider the novel problem of enabling density based clustering over an LBS with only a limited, kNN query interface. Due to the query rate limits imposed by LBS, even retrieving every tuple once is infeasible. Hence, we seek to construct a cluster assignment function f(.) by issuing a small number of kNN queries, such that for any given tuple t in the database which may or may not have been accessed, f(.) outputs the cluster assignment of t with high accuracy. We conduct a comprehensive set of experiments over benchmark datasets and popular real-world LBS such as Yahoo! Flickr, Zillow, Redfin and Google Maps.

研究の動機と目的

• kNNクエリインターフェースのみを公開するLBSデータベースに対して、直接のデータベースアクセスなしに密度ベースクラスタリングを可能にすること。
• Google Maps、Redfin、ZillowなどのLBSプラットフォームにおける、制限されたクエリレートと全データ取得の高コストという課題に対処すること。
• 最小限のkNNクエリで高い精度を達成できる、任意のタプルにクラスタラベルを割り当てる関数f(·)を開発すること。
• サンプリングベースのアプローチの限界（不規則な形状のクラスターや外れ値の処理が不十分）を克服すること。
• 第三者クライアントや研究者にとって実用的でスケーラブルなソリューションを提供し、データプロバイダーへのアクセスなしにLBSデータの包括的分析を可能にすること。

提案手法

• 空間密度と空間的近接性を保持するように、適応的空間充填曲線（SFC）を用いて2次元地理的点を1次元空間にマッピングする。
• 変換されたデータに対して1次元クラスタリングアルゴリズムを適用し、初期クラスタを特定する。
• 密度閾値に基づいて隣接する1次元クラスタを統合し、整合性のある2次元クラスタを形成する。
• kNNクエリを用いてキーポイントをサンプリングし、全タプルの取得なしにクラスタ構造を推定する。
• 既知のクラスタ中心への近接性に基づき、訪問されていないタプルのクラスタを予測するクラスタ割り当て関数f(·)を構築する。
• 全データセットに対する真値DBSCAN結果と比較することで、f(·)の出力のクラスタ品質を検証する。

実験結果

リサーチクエスチョン

• RQ1 kNNクエリインターフェースのみを備え、全データベースへの直接アクセスができないLBSプラットフォーム上でも、密度ベースクラスタリングを効果的に行うことは可能か？
• RQ2 最小限のkNNクエリで高い精度を達成できるクラスタリング関数f(·)をどのように構築できるか？
• RQ3 適応的空間充填曲線は、2次元から1次元への変換過程で空間密度とクラスタ構造を効果的に保持できるか？
• RQ4 HDBSCANは、実世界のLBSデータ（例：Redfin、Zillow、Google Maps）に対して、従来のDBSCANと比較してどの程度の性能を示すか？
• RQ5 全データアクセスなしに、HDBSCANは都市のホットスポット、賃貸トレンド、POIのグループ化といった意味のある空間的パターンを特定できるか？

主な発見

• HDBSCANは、DFW地域の都市部および地方部の住宅クラスタなど、さまざまな形状のクラスタを実世界のLBSデータから効果的に発見し、実際の空間的分布と一致する。
• DFWの都市中心部（ダラスおよびフォートワース）の周辺に位置するクラスタでは、平均住宅価格が高くなる傾向を示しており、本手法が意味のある経済的パターンを捉えていることを裏付けている。
• 本手法は、Capital Bikeshareの自転車ステーションにおいて、中心部のステーションでは夕方のピーク時刻が顕著で、外郭部のステーションでは朝と夕方の二重ピークを示す、明確な利用パターンを特定している。
• 各クラスタにおける住宅価格の分布は、期待通りの傾向を示しており、都市部クラスタはヒストグラムの右側（高価格帯）に、地方部クラスタは左側に位置している。
• HDBSCANは、サンプリングベースのベースライン手法よりも、任意の形状のクラスタをより適切に処理し、外れ値をより効果的に同定している。
• kNNクエリの数を最小限に抑えながらも高いクラスタ割り当て精度を達成できており、Google MapsなどのLBS APIにおけるきびしいクエート制限下でも実用的である。