[論文レビュー] Rapid AkNN Query Processing for Fast Classification of Multidimensional Data in the Cloud

Nikolaos Nodarakis, Spyros Sioutas+3 more|arXiv (Cornell University)|Feb 27, 2014

Data Management and Algorithms参考文献 22被引用数 8

ひとこと要約

本論文は、多次元データのクラウド環境における効率的なk-NN分類のための、MapReduceに基づく新規アプローチを提案する。空間分解を用いて距離計算を削減することで、等しいサイズの領域にデータ空間を分割し、関連するパーティションに限定して近隣探索を実行することで、大規模な実データおよび合成データセットにおいて、さまざまなデータ分布や次元数において、ベースライン手法を上回る速度と耐障害性を実現する。

ABSTRACT

A $k$-nearest neighbor ($k$NN) query determines the $k$ nearest points, using distance metrics, from a specific location. An all $k$-nearest neighbor (A$k$NN) query constitutes a variation of a $k$NN query and retrieves the $k$ nearest points for each point inside a database. Their main usage resonates in spatial databases and they consist the backbone of many location-based applications and not only (i.e. $k$NN joins in databases, classification in data mining). So, it is very crucial to develop methods that answer them efficiently. In this work, we propose a novel method for classifying multidimensional data using an A$k$NN algorithm in the MapReduce framework. Our approach exploits space decomposition techniques for processing the classification procedure in a parallel and distributed manner. To our knowledge, we are the first to study the classification of multidimensional objects under this perspective. Through an extensive experimental evaluation we prove that our solution is efficient and scalable in processing the given queries. We investigate many different perspectives that can affect the total computational cost, such as different dataset distributions, number of dimensions, growth of $k$ value and granularity of space decomposition and prove that our system is efficient, robust and scalable.

研究の動機と目的

• 大規模な多次元データセットにおけるすべてのk-NN（AkNN）クエリの高い計算コストを低減すること。
• クラウド環境における分散処理を可能にし、AkNNモデルを用いた多次元データの効率的かつスケーラブルな分類を実現すること。
• データ分布に基づく知的な空間分解を用いて、距離計算の回数を削減すること。
• 異なるデータ分布、次元数、クラスタ構成において、手法の性能を評価すること。
• 実世界のクラウドベースの分類ワークロードに適した、スケーラブルで耐障害性があり、効率的なシステムを設計すること。

提案手法

• 本手法は、トレーニングデータセットの分布に基づき、等しいサイズで重複のないパーティションに多次元データ空間を分割する。
• 分類対象の各点について、そのk近傍に該当する可能性のある関連するパーティション（探索領域）を同定する。
• 距離計算は、これらの選択されたパーティション内の点に限定されるため、探索空間が著しく削減される。
• 初期の探索領域でk個未満の近隣が見つかった場合、領域を段階的に拡大し、k個の近隣が得られるまで処理を継続する。
• 最終的な分類では、関連するパーティション内の候補点から計算されたk個の近隣の多数決に基づき、点をクラスに割り当てる。
• 実装はHadoop MapReduceフレームワークと完全に互換性があり、コアHadoopシステムの変更は一切不要である。

実験結果

リサーチクエスチョン

• RQ1 AkNNクエリ処理を、クラウドベースの分散環境で効率的かつスケーラブルに並列化する方法は何か？
• RQ2 空間分解の細かさが、多次元データにおけるk-NN分類の性能と正確性に与える影響は何か？
• RQ3 さまざまなデータ分布（例：一様分布、パワー法則）および次元数の変化に対して、本手法の性能はどのように変化するか？
• RQ4 クラスターノード数の増加が、分類パイプラインのスループットとスケーラビリティに与える影響は何か？
• RQ5 局所的な近隣探索により計算コストを著しく削減しつつ、分類精度を高い水準で維持できるか？

主な発見

• 提案手法kdANN+は、クラスタサイズの増加に伴い顕著なスループット向上を示し、一様分布データセットでは負荷分散が良好なため、より急激な性能向上を示す。
• 3次元の実データセットでは、kdANN+はベースライン手法kdANNを上回り、32ノードのクラスタではkdANNが結果を出力できなかったのに対し、kdANN+は正常に処理を完了した。これは、本手法の耐障害性を示している。
• 合成データセットでは、kdANN+はkdANNと同等のスループット向上を達成したが、一貫して優れた性能を示しており、効率性の向上が裏付けられた。
• 分類精度は全クラスで高く維持されており、平均真陽性率は98%、偽陽性率は0.08%であった。特に挑戦的とされるクラスCについても94.14%の精度を達成した。
• 本手法は、多様なデータ分布およびk値の増加に対しても、強力なスケーラビリティと耐障害性を示した。適応的探索領域拡大により、性能劣化が最小限に抑えられた。
• 等しいサイズの空間分割を用いることで、重複する距離計算が削減され、Hadoopフレームワークの変更なしに効率的かつ分散処理が可能となった。