[논문 리뷰] Near Neighbor: Who is the Fairest of Them All?

Sariel Har-Peled, Sepideh Mahabadi|arXiv (Cornell University)|2019. 06. 06.

Optimization and Search Problems참고 문헌 37인용 수 4

한 줄 요약

이 논문은 쿼리와 거리 $ r $ 이내에 있는 점들 중에서 균일하게 무작위로 선택하는 공정한 근접 이웃 문제의 변종을 제안한다. 이는 더 가까운 점들에 대한 편향을 피하기 위한 것이다. 정도 근사 기법을 사용한 수정된 국소성 감지 해싱(Locality-Sensitive Hashing, LSH) 접근법을 통해, 쿼리 시간이 $ O(\mathrm{dns}(q,r) \cdot \mathcal{Q}(n,c)) $ 비례하는 근사 균일 샘플링을 달성하였으며, 통계적 거리 측정 기준으로 기존 샘플링 방법 대비 최대 10배 향상된 성능을 보였다.

ABSTRACT

$ ewcommand{\ball}{\mathbb{B}} ewcommand{\dsQ}{\mathcal{Q}} ewcommand{\dsS}{\mathcal{S}}$In this work we study a fair variant of the near neighbor problem. Namely, given a set of $n$ points $P$ and a parameter $r$, the goal is to preprocess the points, such that given a query point $q$, any point in the $r$-neighborhood of the query, i.e., $\ball(q,r)$, have the same probability of being reported as the near neighbor. We show that LSH based algorithms can be made fair, without a significant loss in efficiency. Specifically, we show an algorithm that reports a point in the $r$-neighborhood of a query $q$ with almost uniform probability. The query time is proportional to $O\bigl( \mathrm{dns}(q.r) \dsQ(n,c) \bigr)$, and its space is $O(\dsS(n,c))$, where $\dsQ(n,c)$ and $\dsS(n,c)$ are the query time and space of an LSH algorithm for $c$-approximate near neighbor, and $\mathrm{dns}(q,r)$ is a function of the local density around $q$. Our approach works more generally for sampling uniformly from a sub-collection of sets of a given collection and can be used in a few other applications. Finally, we run experiments to show performance of our approach on real data.

연구 동기 및 목표

• 근접 이웃 쿼리에서 더 가까운 점들에 대한 선택 편향을 해결하기 위함.
• 모든 이웃들을 명시적으로 나열하지 않고도 쿼리의 $ r $-이웃 영역에서 균일하게 무작위로 점을 반환하는 데이터 구조를 설계하기 위함.
• 표준 LSH와 유사한 효율성을 유지하면서도 쿼리 응답의 개인적 공정성을 보장하기 위함.
• 실제 데이터셋을 대상으로 통계적 거리 측정 기준으로 공정성 지표를 사용하여 성능 평가하기 위함.

제안 방법

• 쿼리의 버킷 내에서 각 점의 정도(해시 충돌 수)를 추정하여 LSH를 수정함으로써 $ r $-이웃 영역에서 균일하게 샘플링할 수 있도록 함.
• 충돌 확률의 역수를 추정하여 선택 확률을 가중치 조정하는 정도 근사 기법을 사용함.
• 추정된 정도를 바탕으로 선택 확률을 조정하는 거부 샘플링 전략을 도입하여 균일성을 보장함.
• 충돌 확률을 높이고 샘플링 정확도를 향상시키기 위해 다수의 LSH 함수를 활용함.
• 반복 쿼리에서 공정한 비교를 가능하게 하기 위해 최적 기준을 위한 정확한 정도를 사전 처리함.
• 이웃에 대한 경험적 분포와 균일 분포 간의 총 변동 거리 측정을 통해 성능을 측정함.

실험 결과

연구 질문

• RQ1 LSH 기반 데이터 구조를 어떻게 수정하여 쿼리의 $ r $-이웃 영역에서 균일한 무작위 샘플링을 보장할 수 있는가?
• RQ2 공정한 근접 이웃 검색에서 샘플링 정확도와 쿼리 효율성 간의 상호 상충 관계는 어떠한가?
• RQ3 제안된 정도 근사 기법은 정확한 방법과 기준 방법 대비 통계적 거리 측정 기준으로 균일성에 얼마나 가까운가?
• RQ4 이 방법은 이웃 영역 크기가 증가하거나 LSH 파라미터가 변화할 경우에도 잘 확장되는가?

주요 결과

• MNIST에서는 제안된 방법이 균일성과의 통계적 거리가 2.4였으며, 표준 방법들이 6.6–10배 더 나빴다.
• SIFT에서는 방법의 거리가 균일성과 1.4였고, 다른 방법들은 6.1–9.7이었다.
• GloVe에서는 방법이 최적보다 2.7배 더 나빴지만, 다른 방법들은 6.5–13.1배 더 나빴다.
• 쿼리 반복 횟수를 늘일수록 정확도가 향상됨: MNIST에서 4배 더 많은 쿼리로 거리가 2.4에서 1.05로 감소함.
• $ L=300 $일 때, 방법은 최적 알고리즘보다 4.3배 빠르게 동작했지만, 여전히 두 기준 방법보다는 느렸다.
• LSH 파라미터가 변화함에 따라 방법은 강력한 성능 유지를 보였으며, MNIST에서 정도 범위는 [1,33]에서 [1,99]로 증가함.