[論文レビュー] Near Neighbor: Who is the Fairest of Them All?

Sariel Har-Peled, Sepideh Mahabadi|arXiv (Cornell University)|Jun 6, 2019

Optimization and Search Problems参考文献 37被引用数 4

ひとこと要約

この論文では、照会点の距離 $ r $ 以内の点を一様にランダムに選ぶ公平な近傍問題の変種を提案している。近い点にバイアスがかかるのを避けるために、度数近似を用いた変更された局所性に敏感なハッシュ（LSH）手法を採用し、クエリ時間は $ O( ext{dns}(q,r) imes ilde{ au}(n,c)) $ に比例する。これにより、標準的手法に比べて統計的距離の観点で最大10倍の性能向上を達成した。

ABSTRACT

$ ewcommand{\ball}{\mathbb{B}} ewcommand{\dsQ}{\mathcal{Q}} ewcommand{\dsS}{\mathcal{S}}$In this work we study a fair variant of the near neighbor problem. Namely, given a set of $n$ points $P$ and a parameter $r$, the goal is to preprocess the points, such that given a query point $q$, any point in the $r$-neighborhood of the query, i.e., $\ball(q,r)$, have the same probability of being reported as the near neighbor. We show that LSH based algorithms can be made fair, without a significant loss in efficiency. Specifically, we show an algorithm that reports a point in the $r$-neighborhood of a query $q$ with almost uniform probability. The query time is proportional to $O\bigl( \mathrm{dns}(q.r) \dsQ(n,c) \bigr)$, and its space is $O(\dsS(n,c))$, where $\dsQ(n,c)$ and $\dsS(n,c)$ are the query time and space of an LSH algorithm for $c$-approximate near neighbor, and $\mathrm{dns}(q,r)$ is a function of the local density around $q$. Our approach works more generally for sampling uniformly from a sub-collection of sets of a given collection and can be used in a few other applications. Finally, we run experiments to show performance of our approach on real data.

研究の動機と目的

• 近傍照会において近い点に偏るデータ構造の選択バイアスを是正すること。
• すべての近傍点を明示的に列挙せずに、照会点の $ r $-近傍から一様ランダムに点を返すデータ構造を設計すること。
• 標準的なLSHと同等の効率を維持しながら、クエリ応答における個人の公平性を保証すること。
• 統計的距離を公平性の指標として用い、実データセット上での手法の性能を評価すること。

提案手法

• 各点のハッシュバケット内での度数（衝突回数）を推定することで、LSHを変更し、$ r $-近傍から一様にサンプリングする。
• 衝突確率の逆数を推定するためにバケットからサンプリングする度数近似技術を用い、選択確率を重み付けする。
• 推定度数に基づいて選択確率を調整する再帰的サンプリング戦略を導入し、一様性を保証する。
• 複数のLSH関数を活用して衝突確率を向上させ、サンプリングの正確性を向上させる。
• 繰り返しクエリが行われる状況での公平な比較を可能にするために、最適なベースラインの正確な度数を事前処理する。
• 近傍点の経験的分布と一様分布との全変動距離を測定することで、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 LSHに基づくデータ構造をどのように変更すれば、照会点の $ r $-近傍から一様ランダムサンプリングを保証できるか？
• RQ2 公平な近傍検索において、サンプリングの正確性とクエリ効率のトレードオフはどのようなものか？
• RQ3 提案された度数近似手法は、正確な手法およびベースライン手法と比較して、一様分布からの統計的距離においてどの程度優れているか？
• RQ4 近傍サイズの増加やLSHパラメータの変化に伴い、この手法はスケーラブルか？

主な発見

• MNISTでは、提案手法の統計的距離は一様分布に対して2.4であり、標準的手法は6.6～10倍も悪かった。
• SIFTでは、手法の距離は1.4であったのに対し、他の手法は6.1～9.7であった。
• GloVeでは、手法は最適値の2.7倍悪かったが、他の手法は6.5～13.1倍も悪かった。
• クエリの繰り返し回数を増やすことで精度が向上した。MNISTでは、クエリ回数を4倍にしたことで距離は2.4から1.05に低下した。
• $ L=300 $ の場合、最適アルゴリズムに比べて4.3倍速く、2つのベースライン手法よりは遅かったが、依然として高速であった。
• LSHパラメータの変化に対しても、手法は強固な性能を維持した。MNISTでは度数範囲が [1,33] から [1,99] に拡大した。