[논문 리뷰] Fast Spectral Ranking for Similarity Search

Ahmet İşcen, Yannis Avrithis외 3명|HAL (Le Centre pour la Communication Scientifique Directe)|2017. 03. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 58인용 수 5

한 줄 요약

이 논문은 대규모 이미지 검색에서 다양체 인식 유사도 검색을 가속화하기 위해 사전에 근사 그래프 푸리에 기저를 오프라인으로 계산하는 Fast Spectral Ranking (FSR)을 제안한다. 명시적 스펙트럼 임bedding를 통해 다양체 검색을 효율적인 유클리드 거리 및 내적 검색으로 변환함으로써, FSR는 Instre 및 Oxford105k와 같은 데이터셋에서 최신 기술 수준의 성능을 달성하며, 표준 유클리드 검색 수준의 쿼리 시간을 확보한다. 또한 온라인 그래프 잘라내기 과정이 필요 없게 된다.

ABSTRACT

Despite the success of deep learning on representing images for particular object retrieval, recent studies show that the learned representations still lie on manifolds in a high dimensional space. This makes the Euclidean nearest neighbor search biased for this task. Exploring the manifolds online remains expensive even if a nearest neighbor graph has been computed offline. This work introduces an explicit embedding reducing manifold search to Euclidean search followed by dot product similarity search. This is equivalent to linear graph filtering of a sparse signal in the frequency domain. To speed up online search, we compute an approximate Fourier basis of the graph offline. We improve the state of art on particular object retrieval datasets including the challenging Instre dataset containing small objects. At a scale of 10^5 images, the offline cost is only a few hours, while query time is comparable to standard similarity search.

연구 동기 및 목표

• 딥 메트릭 러닝에서 온라인 다양체 검색의 높은 계산 비용, 특히 소형 객체 검색에 대한 문제를 해결하기 위해.
• 공액 기울기와 같은 반복적 해법에 의존하는 그래프 기반 랭킹 방법의 쿼리 시간을 줄이기 위해.
• 근사 푸리에 기저 계산을 통해 스펙트럼 계산을 오프라인으로 이관하여 확장 가능하고 저지연의 유사도 검색을 가능하게 하기 위해.
• 이전 방법에서 성능 저하를 초래하는 온라인 그래프 잘라내기를 피함으로써 검색 mAP를 향상시키기 위해.
• 이미지 검색을 넘어서 일반화 가능하고 확장 가능한 유사도 검색 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 스펙트럼 도메인에서 선형 그래프 필터링으로 이미지 검색을 수식화하며, 희소 쿼리 신호를 그래프 상에서 스무딩하기 위해 전이 함수를 사용한다.
• 랜덤화된 SVD를 사용하여 그래프 라플라시안의 근사 푸리에 기저를 사전에 계산함으로써 대규모에서의 빠른 스펙트럼 분해를 가능하게 한다.
• 선형 시스템의 해는 $ \mathbf{x} = U\Lambda^{-1}U^T\mathbf{y} $ 형태로 닫힌 형태로 표현되며, 여기서 $ U $는 근사 고유벡터 행렬이다.
• 이 방법은 두 단계의 유사도 검색을 사용한다: 첫째, 임bedded 공간에서 유클리드 거리; 둘째, 결과 랭킹을 위한 내적 유사도.
• 이 방법은 임bedding를 희소화하고 제품 양자화를 사용하여 메모리 용량을 최대 90%까지 줄일 수 있는 FSRw.approx라는 변종을 도입한다. 이는 mAP 저하가 최소한이다.
• 이 접근법은 일반화 가능하고 해석 가능한데, 그래프 신호 처리, 무작위 보행, 커널 방법과의 연관성을 지닌다.

실험 결과

연구 질문

• RQ1 스펙트럼 성분을 사전에 계산함으로써 다양체 인식 유사도 검색을 가속화할 수 있으며, 온라인 쿼리 비용을 거의 유클리드 수준으로 낮출 수 있는가?
• RQ2 근사 푸리에 기저는 확장 가능하고 저지연 추론을 가능하게 하면서도 검색 정확도를 얼마나 잘 유지하는가?
• RQ3 임베딩 차원, 희소성, mAP 간의 상호 관계는 스펙트럼 표현을 압축할 경우 어떻게 되는가?
• RQ4 온라인 그래프 잘라내기를 제거하면 Instre와 같은 도전적인 데이터셋에서 검색 성능이 향상되는가?
• RQ5 이 방법은 유사도 검색을 넘어서 클러스터링이나 준지도 학습과 같은 다른 작업으로 일반화될 수 있는가?

주요 결과

• Instre 데이터셋에서 FSR는 21×2048 지역 기술자로 89.2% mAP를 달성하며, 이는 이전 최신 기술 수준의 확산 방법과 동일한 성능를 보이지만 훨씬 빠른 쿼리 시간을 확보한다.
• Oxford105k에서 21×512 기술자로 FSRw.approx는 희소화를 통해 90% 메모리 절감을 이룬다. 전체 방법 대비 mAP가 0.2% 뿐 감소한다.
• 64바이트 제품 양자화를 사용할 경우, FSR는 Oxford105k에서 91.1% mAP를 유지하며 기술자 압축에 대한 강건성을 보여준다.
• 이 방법은 쿼리 시간을 거의 유클리드 수준으로 줄였으며, 표준 유사도 검색과 유사한 성능을 보이며, 온라인 공액 기울기 해법을 능가한다.
• 온라인 그래프 잘라내기를 제거함으로써 Oxford105k에서 mAP가 3% 향상되었으며, 이는 전체 다양체 탐색의 이점임을 입증한다.
• 스펙트럼 기저의 오프라인 계산은 데이터셋 크기와 선형 비례하며, 10^5장의 이미지에 대해서도 몇 시간 내에 완료되어 대규모 배포에 실용적이다.