[論文レビュー] Dynamic Enumeration of Similarity Joins

Pankaj K. Agarwal, Xiao Hu+2 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 2

ひとこと要約

本稿では、点の挿入および削除に対して最悪計算時間の遅延保証を備えた、効率的な類似度ジョイン列挙のための動的データ構造を提示する。階層的分割と局所性に敏感なハッシュ（LSH）を用いて、ℓ1、ℓ∞、ℓ2の距離計測において、近似的線形および線形サイズの構造を構築し、多倍率対数時間の更新および遅延時間を達成。高次元においては(1+2ε)-近似列挙を実現する。

ABSTRACT

This paper considers enumerating answers to similarity-join queries under dynamic updates: Given two sets of $n$ points $A,B$ in $\mathbb{R}^d$, a metric $ϕ(\cdot)$, and a distance threshold $r > 0$, report all pairs of points $(a, b) \in A imes B$ with $ϕ(a,b) \le r$. Our goal is to store $A,B$ into a dynamic data structure that, whenever asked, can enumerate all result pairs with worst-case delay guarantee, i.e., the time between enumerating two consecutive pairs is bounded. Furthermore, the data structure can be efficiently updated when a point is inserted into or deleted from $A$ or $B$. We propose several efficient data structures for answering similarity-join queries in low dimension. For exact enumeration of similarity join, we present near-linear-size data structures for $\ell_1, \ell_\infty$ metrics with $\log^{O(1)} n$ update time and delay. We show that such a data structure is not feasible for the $\ell_2$ metric for $d \ge 4$. For approximate enumeration of similarity join, where the distance threshold is a soft constraint, we obtain a unified linear-size data structure for $\ell_p$ metric, with $\log^{O(1)} n$ delay and update time. In high dimensions, we present an efficient data structure with worst-case delay-guarantee using locality sensitive hashing (LSH).

研究の動機と目的

• 点の更新（挿入／削除）に対して、類似度ジョイン列挙を効率的に行うことが可能な動的データ構造の設計。
• クエリ処理中に、連続する結果列挙の間隔が常に有界であるという最悪計算時間の遅延保証の達成。
• 低次元および高次元において、正確な類似度ジョインと近似類似度ジョインの両方を、証明可能な性能境界とともにサポート。
• 早期の結果が重要となるインタラクティブまたは探索的データ分析において、効率を維持する課題の解決。
• ℓ2を含むさまざまなℓp距離計測における類似度ジョインの統一フレームワークの提供、特にLSHによる高次元ℓ2空間での応用。

提案手法

• 空間をバケットに階層的に分割することで、近接性クエリを効率的に管理。近似距離チェックのためのプロキシバケットを導入。
• 列挙処理中の重複計算を減らすために、代表ペアとアクティブバケットを維持。
• 高次元において局所性に敏感なハッシュ（LSH）を適用し、(1+2ε)-近似類似度ジョインを低遅延で実現。
• 重複報告を防ぎ、正しさを保つために、重複除去手順を導入。
• 特に高次元ケースにおいて、均等化解析と定期的な再構築を用いて、更新時間の境界を維持。
• 先行するLSH研究からの確率的保証を活用し、近似列挙の高確率での正しさを保証。

実験結果

リサーチクエスチョン

• RQ1 点の更新に対して、最悪計算時間の遅延保証を備えた類似度ジョイン列挙をサポートする動的データ構造を設計可能か？
• RQ2 ℓ2距離計測（d ≥4）において、正確な類似度ジョイン処理で、低更新時間および低遅延時間の理論的限界は何か？
• RQ3 単一の効率的データ構造を用いて、さまざまなℓp距離計測における類似度ジョイン処理を統一的に扱えるか？
• RQ4 LSHを用いて、高次元ℓ2空間における効率的な近似列挙をどのように達成できるか？
• RQ5 動的類似度ジョイン処理において、近似係数、更新時間、遅延時間の間にはどのようなトレードオフがあるか？

主な発見

• ℓ1およびℓ∞距離計測において、近似的線形サイズのデータ構造が構築され、更新および遅延時間がO(log^O(1) n)であることが保証される。
• d ≥4のℓ2距離計測においては、O(log^O(1) n)の遅延および更新時間を持つ正確な類似度ジョイン処理は、標準的仮定のもとで証明的に不可能である。
• ℓp距離計測に一般化可能な線形サイズのデータ構造が提案され、(1+2ε)-近似列挙が可能で、遅延および更新時間がO(log^O(1) n)である。
• 高次元においては、LSHベースのアプローチにより、(1+2ε)-近似列挙が実現され、遅延時間はeO(dn^2ρ)、平均更新時間はeO(dn^2ρ)となる。ここでρ = 1/(1+ε)^2である。
• ハミング距離およびℓ1距離計測（ε > 1）において、遅延時間はeO(dn^ρ)に短縮可能で、ρ = 1/(1+ε)として(3+2ε)-近似列挙が達成される。
• フレームワークは動的更新をサポートし、構造全体の再構築なしに効率的な列挙を実現し、実用的なスケーラビリティを確保する。