[논문 리뷰] Learning to Route in Similarity Graphs

Dmitry Baranchuk, Dmitry Persiyanov외 2명|arXiv (Cornell University)|2019. 05. 27.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 유사도 그래프에서 유사도 기반 탐색을 위한 학습 가능한 라우팅을 제안하며, 정점 표현을 학습하여 탐욕적 탐색을 진짜 최근접 이웃 쪽으로 이끌어 국소 최솟값을 줄입니다. 암시적 학습을 통해 라우팅 정책을 최적화함으로써, 동일한 계산 예산 내에서 기준선 그래프보다 훨씬 높은 재현율(최대 9.4% 향상)을 달성합니다.

ABSTRACT

Recently similarity graphs became the leading paradigm for efficient nearest neighbor search, outperforming traditional tree-based and LSH-based methods. Similarity graphs perform the search via greedy routing: a query traverses the graph and in each vertex moves to the adjacent vertex that is the closest to this query. In practice, similarity graphs are often susceptible to local minima, when queries do not reach its nearest neighbors, getting stuck in suboptimal vertices. In this paper we propose to learn the routing function that overcomes local minima via incorporating information about the graph global structure. In particular, we augment the vertices of a given graph with additional representations that are learned to provide the optimal routing from the start vertex to the query nearest neighbor. By thorough experiments, we demonstrate that the proposed learnable routing successfully diminishes the local minima problem and significantly improves the overall search performance.

연구 동기 및 목표

• 탐색 중에 하위 최적 정점에 갇히는 문제를 해결하기 위해, 유사도 그래프에서 탐욕적 라우팅의 국소 최솟값 문제를 해결한다.
• 라우팅 결정에 전역 그래프 구조를 통합하여 고차원 데이터에서 검색 정확도를 향상시킨다.
• 어느 시작 정점에서나 최근접 이웃으로 가는 최적의 라우팅 경로를 안내하는 압축된 정점 표현을 학습한다.
• 복잡한 그래프 구조에서 실패하는 순수 지역 기반 거리 기반 라우팅 히우리즘에 대한 의존도를 줄인다.
• 학습된 라우팅이 고정된 계산 예산 하에서 표준 탐욕적 라우팅 및 기존의 NNS 방법보다 뛰어나다는 것을 입증한다.

제안 방법

• 유사도 그래프의 각 정점에 전역 라우팅 맥락을 캡슐화하는 학습 가능한 저차원 표현을 추가한다.
• 학습된 라우팅 함수는 암시적 학습을 통해, 쿼리에서 최적의 최근접 이웃 경로로의 지도 데이터셋을 기반으로 최적의 라우팅 경로를 모방하는 에이전트가 됩니다.
• 정점 특징을 라우팅 점수로 매핑하기 위해 컨볼루션 및 피드포워드 레이어를 포함한 딥 네ural 네트워크 $f_{\theta}(\cdot)$를 사용한다.
• 최적화된 모델은 상위-$k$ 선택과 전체 경로 라우팅 지도를 조합한 다중 구성 요소 손실을 사용하여 강건성과 일반화 능력을 향상시킨다.
• 추론 단계에서 학습된 라우팅 정책을 적용한다: 각 단계에서 가장 높은 라우팅 점수를 가진 이웃을 선택하며, 순수히 가장 가까운 거리에 기반한 선택이 아님을 확인한다.
• 학습 중에 교사 강제 학습 목표를 사용하여 학습을 안정화시키며, 자가 생성된 경로 대신 최적의 라우팅 경로를 제공한다.

실험 결과

연구 질문

• RQ1 학습된 정점 표현은 국소 최솟값을 줄여 탐색 중에 유사도 그래프에서 탐욕적 라우팅을 향상시킬 수 있는가?
• RQ2 라우팅 결정에 전역 그래프 구조를 통합하면 검색 정확도가 향상되는가?
• RQ3 학습 가능한 라우팅의 성능은 표준 탐욕적 라우팅 및 다른 최신 기술 대비 어떻게 되는가?
• RQ4 다양한 신경망 아키텍처와 학습 목표는 라우팅 성능에 어떤 영향을 미치는가?
• RQ5 학습 가능한 라우팅의 이점은 차원 수가 증가함에 따라 커지는가?

주요 결과

• DCS=512 예산 하에서, GloVe100K 데이터셋에서 표준 NSW 그래프 대비 9.4% 높은 Recall@1 성능을 기록했다.
• SIFT100K에서, NSG 및 HNSW를 포함한 모든 기준선을 초월하여 Recall@1이 0.949를 기록했다.
• 절단 실험 결과, 컨볼루션 아키텍처에 피드포워드 헤드를 사용한 모델은 60.4% Recall@1을 기록했으며, PCA(39.4%) 및 피드포워드 전용 모델(54.9%)보다 뚜렷이 뛰어났다.
• 전체 암시적 학습 목표(식 (4))를 사용한 학습은 교사 강제 학습(37.7% Recall@1)보다 더 좋은 결과를 내었으며, 자기 일관성 있는 정책 학습이 더 효과적임을 시사한다.
• 상위-$k$ 선택에 대해서만 학습해도 경쟁 가능한 성능을 달성했으며, 이는 부분 지도 학습을 통해도 라우팅 정책을 학습할 수 있음을 의미한다.
• 성능 향상은 특히 고차원 공간에서 두드러지게 나타나, 이는 이 방법이 도전적인 고차원 환경에서 특히 유용함을 확인한다.