[논문 리뷰] Scalable Nearest Neighbor Search for Optimal Transport

Artūrs Bačkurs, Yihe Dong외 3명|arXiv (Cornell University)|2019. 10. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 워샤르-1(W1) 거리 기준에서 스케일러블한 근사 최근접 이웃 검색을 위한 새로운 알고리즘인 Flowtree를 소개한다. 트리 구조의 임bedding과 유량 기반 추정을 활용하여 유사도 검색을 가속화한다. 실제 데이터셋에서 기존 최고 수준의 방법보다 최대 7.4배 빠른 실행 시간을 달성하면서도 높은 정확도를 유지한다.

ABSTRACT

The Optimal Transport (a.k.a. Wasserstein) distance is an increasingly popular similarity measure for rich data domains, such as images or text documents. This raises the necessity for fast nearest neighbor search algorithms according to this distance, which poses a substantial computational bottleneck on massive datasets. In this work we introduce Flowtree, a fast and accurate approximation algorithm for the Wasserstein-$1$ distance. We formally analyze its approximation factor and running time. We perform extensive experimental evaluation of nearest neighbor search algorithms in the $W_1$ distance on real-world dataset. Our results show that compared to previous state of the art, Flowtree achieves up to $7.4$ times faster running time.

연구 동기 및 목표

• 대규모 데이터셋에서 워샤르-1 거리 기준 정확한 최근접 이웃 검색의 계산적 병목 현상을 해결하기 위해.
• k-NN 분류 파이프라인에 적합한, 빠르고 정확하며 확장 가능한 W1 거리 계산을 위한 근사 알고리즘을 설계하기 위해.
• 표준 유클리드 기하학과의 호환성 문제와 고차원에서의 정확한 유량 계산의 비효율성 문제를 해결하기 위해.
• 텍스트 및 이미지 유사도와 같은 실제 응용 분야에서 기존 근사 방법과의 성능을 평가하고 비교하기 위해.
• Flowtree를 사용하여 여러 추정기(예: Quadtree, R-WMD, Sinkhorn)를 조합한 종단 간 파이프라인의 최적화를 통해 속도-정확도 트레이드오프를 향상시키기 위해.

제안 방법

• Flowtree는 기저 메트릭 공간(R^d)에 대한 계층적 트리 분해를 구축하여 효율적인 유량 추정을 가능하게 한다.
• 하향식 트리 순회를 통해 근사 최적 운반 계획을 계산함으로써 W1 계산의 복잡도를 감소시킨다.
• 트리에 통합된 메트릭에서의 유량 문제를 해결하여 W1 거리를 추정하며, 이는 선형 시간 내에 계산될 수 있다.
• Flowtree는 다단계 파이프라인에 통합되며, 기존 추정기(예: R-WMD 또는 Sinkhorn)의 중간 필터 또는 대체로 사용될 수 있다.
• 근사 인자와 런타임에 대해 체계적으로 분석하며, 정확도와 효율성에 대한 이론적 보장을 제공한다.
• 검증 세트를 사용하여 각 단계의 후보자르기 임계값(c_i)을 최적화함으로써 런타임을 최소화하면서 목표 리콜을 달성한다.

실험 결과

연구 질문

• RQ1 트리 기반의 유량 근사 방법은 W1 최근접 이웃 검색에서 높은 정확도와 뚜렷한 속도 향상을 동시에 달성할 수 있는가?
• RQ2 R-WMD, Mean, Sinkhorn과 같은 기존 추정기와 비교할 때 Flowtree의 런타임 및 리콜 성능는 어떠한가?
• RQ3 다단계 W1 검색에서 Flowtree를 필터 또는 대체로 통합할 경우 최적의 파이프라인 구성은 무엇인가?
• RQ4 Flowtree는 k-NN 파이프라인에서 정확한 W1 계산의 계산 병목 현상을 어느 정도 감소시키는가?
• RQ5 Flowtree의 트리 임bedding 접근 방식은 워드 임베딩와 같은 고차원 데이터의 기하학적 구조와 호환성을 유지하는가?

주요 결과

• 20news 데이터셋에서 리콜@5 ≥ 0.9 조건을 만족할 때, Flowtree는 최고의 베이스라인 파이프라인 대비 중앙값 실행 시간을 최대 7.4배 감소시킨다.
• 리콜@1 ≥ 0.9 조건에서 Flowtree는 최고의 베이스라인 파이프라인 대비 런타임을 3.7배 향상시킨다.
• 파이프라인의 두 번째 단계에서 대체로 사용될 경우, Flowtree는 리콜@5 실험에서 런타임을 7.4배에서 8배까지 감소시킨다.
• Flowtree 통합 파이프라인에서 주요 성능 병목 현상은 정확한 W1 계산으로 이동하며, 이는 Flowtree가 대부분의 비용을 효과적으로 이관했음을 시사한다.
• Flowtree를 중간 필터로 사용하는 파이프라인은 후행 추정기의 종류에 따라 1.64배에서 6.75배의 속도 향상을 달성한다.
• Sinkhorn-3는 Sinkhorn-1보다 느리지만 더 높은 정확도 덕분에 Quadtree에서 전달되는 후보 수를 줄일 수 있어, Flowtree와 조합했을 때 전체 런타임이 더 빠르게 된다.