[논문 리뷰] Towards Similarity Graphs Constructed by Deep Reinforcement Learning

Dmitry Baranchuk, Artem Babenko|arXiv (Cornell University)|2019. 11. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 9

한 줄 요약

이 논문은 유사도 그래프를 구성하기 위해 강화학습(RL) 기반의 방법을 제안하며, 인접행렬 내 엣지 확률을 학습하여 검색 효율성을 명시적으로 최적화한다. 그래프 구축을 RL 문제로 재정의함으로써, 동일한 수의 거리 계산을 사용할 때 히우리스틱 기반의 기준보다 더 높은 리콜을 달성하며, GloVe1M에서 Recall@1 88%일 때 0.4% 향상된 상태최신 성능을 기록한다.

ABSTRACT

Similarity graphs are an active research direction for the nearest neighbor search (NNS) problem. New algorithms for similarity graph construction are continuously being proposed and analyzed by both theoreticians and practitioners. However, existing construction algorithms are mostly based on heuristics and do not explicitly maximize the target performance measure, i.e., search recall. Therefore, at the moment it is not clear whether the performance of similarity graphs has plateaued or more effective graphs can be constructed with more theoretically grounded methods. In this paper, we introduce a new principled algorithm, based on adjacency matrix optimization, which explicitly maximizes search efficiency. Namely, we propose a probabilistic model of a similarity graph defined in terms of its edge probabilities and show how to learn these probabilities from data as a reinforcement learning task. As confirmed by experiments, the proposed construction method can be used to refine the state-of-the-art similarity graphs, achieving higher recall rates for the same number of distance computations. Furthermore, we analyze the learned graphs and reveal the structural properties that are responsible for more efficient search.

연구 동기 및 목표

• 현재 히우리스틱 절차에 의존하여 일반화 능력이 제한된 이론적으로 탄탄한 방법의 부족을 해결하기 위해.
• 고정된 계산 예산 하에 검색 리콜을 최대화함으로써, 근접 이웃 검색(NNS) 성능을 명시적으로 최적화하기 위해 그래프 구조를 최적화하기 위해.
• 강화학습이 대규모 NNS를 위한 그래프 구축에 효과적으로 적용될 수 있는지 조사하기 위해.
• 개선된 검색 효율성에 기여하는 학습된 그래프의 구조적 성질을 분석하기 위해.

제안 방법

• 해당 방법은 인접행렬에서 유도된 엣지 확률을 사용하여 유사도 그래프를 확률적으로 모델링한다.
• 그래프 구축을 강화학습 작업으로 설정하여, 에이전트가 훈련 쿼리 세트에 대해 검색 리콜을 최대화하도록 엣지 확률을 학습한다.
• 정책 기반 강화학습을 사용하여 검색 성능 피드백에 기반해 엣지 확률을 조정한다.
• 이 방법은 기존 그래프(예: NSW, HNSW)에 대한 정밀 조정 단계로 적용되며, 기초 데이터 구조를 변경하지 않고도 탐색 성질을 향상시킨다.
• 정점 방문 빈도를 측정하여 정점 방문 빈도의 분포를 분석함으로써 전문화된 탐색 허브를 식별한다.
• 비교를 위해 크기 기반 프루닝 기반선을 사용하며, 이는 방문 빈도와 임계값을 기반으로 한 엣지 가중치를 유도한다.

실험 결과

연구 질문

• RQ1 히우리스틱 기반 방법을 초월하여, 강화학습이 근접 이웃 검색을 위한 유사도 그래프 구조 최적화에 효과적으로 적용될 수 있는가?
• RQ2 어떤 그래프의 구조적 성질이 검색 효율성을 향상시키며, 이러한 성질들은 자동으로 학습될 수 있는가?
• RQ3 검색 리콜을 명시적으로 최적화하면 다양한 데이터셋에서 Recall@k에 측정 가능한 성과 향상이 발생하는가?
• RQ4 제안된 방법은 magnitude 기반 프루닝과 같은 히우리스틱 정밀 조정 기법보다 어떻게 비교되는가?
• RQ5 학습된 그래프는 얼마나 전문화된 탐색 정점의 특성을 보이며, 이는 성능 향상과 어떤 관련이 있는가?

주요 결과

• 모든 데이터셋에서 RL 기반 방법이 검색 리콜을 향상시키며, 과도한 GloVe1M 데이터셋에서 Recall@1 88%일 때 최대 0.4% 향상되었다.
• 모든 데이터셋에서 최적화된 NSW 그래프가 HNSW를 능가하거나 동등한 성능을 보이며, 더 나은 탐색 성능을 달성할 경우 HNSW의 계층적 구조가 불필요할 수 있음을 시사한다.
• 학습된 그래프는 정점 방문 빈도의 더 뾰족한 분포를 보이며, 이는 더 효과적으로 검색을 이끄는 전문화된 탐색 허브가 나타났음을 나타낸다.
• RL 에이전트는 각 쿼리에 대해 단일 최적의 시작 정점을 선택하여, 초기 탐색 비용을 단 한 번의 거리 계산으로 줄였다.
• 크기 기반 프루닝은 효과적이지만, DEEP1M에서 모든 거리 계산 예산 범위에서 RL 방법에 비해 열등한 성능을 보였다.
• RL 정밀 조정 후에 크기 기반 프루닝을 적용하면 성능이 더욱 향상되었으며, 이는 두 방법이 상호보완적임을 시사한다.