[논문 리뷰] Understanding Image Retrieval Re-Ranking: A Graph Neural Network Perspective

Xuanmeng Zhang, Minyue Jiang외 4명|arXiv (Cornell University)|2020. 12. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 45인용 수 25

한 줄 요약

이 논문은 그래프 신경망(GNN) 기반의 재정렬 방법을 제안하며, 이미지 검색 재정렬을 고병렬성 GNN 프로세스로 재구성하여 계산을 크게 가속화하면서도 검색 정확도를 유지하거나 향상시킵니다. k-최근접 이웃 그래프를 모델링하고 GNN 메시지 전달을 활용함으로써, 단일 GPU에서 재정렬 시간을 89.2초에서 9.4ms로 줄였으며, Market-1501, VeRi-776, University-1652를 포함한 다섯 가지 벤치마크에서 실시간 후처리를 가능하게 했습니다.

ABSTRACT

The re-ranking approach leverages high-confidence retrieved samples to refine retrieval results, which have been widely adopted as a post-processing tool for image retrieval tasks. However, we notice one main flaw of re-ranking, i.e., high computational complexity, which leads to an unaffordable time cost for real-world applications. In this paper, we revisit re-ranking and demonstrate that re-ranking can be reformulated as a high-parallelism Graph Neural Network (GNN) function. In particular, we divide the conventional re-ranking process into two phases, i.e., retrieving high-quality gallery samples and updating features. We argue that the first phase equals building the k-nearest neighbor graph, while the second phase can be viewed as spreading the message within the graph. In practice, GNN only needs to concern vertices with the connected edges. Since the graph is sparse, we can efficiently update the vertex features. On the Market-1501 dataset, we accelerate the re-ranking processing from 89.2s to 9.4ms with one K40m GPU, facilitating the real-time post-processing. Similarly, we observe that our method achieves comparable or even better retrieval results on the other four image retrieval benchmarks, i.e., VeRi-776, Oxford-5k, Paris-6k and University-1652, with limited time cost. Our code is publicly available.

연구 동기 및 목표

• 실제 적용에 제한을 주는 이웃 기반 재정렬 방법의 높은 계산 복잡도를 해결합니다.
• 재정렬을 그래프 신경망(GNN) 함수로 재구성하여 효율적인 추론을 위한 내재된 병렬성을 활용합니다.
• GNN의 희소 그래프 계산과 GPU 가속을 활용해 대규모 이미지 검색 데이터셋에서 실시간 후처리를 가능하게 합니다.
• 시간 소모를 크게 줄이면서도 다양한 벤치마크에서 성능을 유지하거나 향상시킵니다.

제안 방법

• 이미지 간 상위 로컬 구조적 관계를 모델링하기 위해 특징 임bedding에서 k-최근접 이웃(k-NN) 그래프를 구축합니다.
• 재정렬 프로세스를 이중 단계 GNN 연산으로 재구성합니다: (1) k-NN를 통한 그래프 구축, (2) 메시지 전달을 통한 특징 전파.
• 이중층 GNN을 적용하여 이웃 정보를 집계하며, 각 노드가 연결된 이웃 기반으로 특징를 업데이트합니다.
• k-NN 그래프의 희소성을 활용해 GPU 가속 추론을 가능하게 하며, 연결된 정점들만 업데이트합니다.
• 그래프 구조를 기반으로 신뢰도 점수와 특징을 전파하는 GNN 기반 쿼리 확장 기법을 적용합니다.
• 하드웨어에 유리한 병렬 GNN 파이프라인을 구현하여 순차적 연산을 피하고, GPU에서 10ms 이내의 추론을 구현합니다.

실험 결과

연구 질문

• RQ1 재정렬을 그래프 신경망(GNN) 함수로 재구성하여 계산 효율성을 향상시킬 수 있는가?
• RQ2 전통적인 이웃 기반 방법과 비교해 GNN 기반 재정렬은 검색 정확도와 속도 측면에서 어떻게 성능을 내는가?
• RQ3 GNN의 내재된 병렬성은 대규모 이미지 검색 데이터셋에서 실시간 재정렬을 가능하게 하는가?
• RQ4 k-reciprocal 및 SCA 방법과 비교해 시간 소모를 줄이면서도 성능을 유지하거나 향상시키는가?

주요 결과

• Market-1501에서 GNN 기반 방법은 단일 K40m GPU에서 재정렬 시간을 89.2초에서 9.4ms로 줄여 9,500배의 속도 향상을 달성했습니다.
• Market-1501에서 mAP는 6.39% 향상되고 Recall@1은 0.83% 향상되어, k-reciprocal 및 SCA를 포함한 모든 베이스라인을 초월했습니다.
• VeRi-776에서 mAP는 88.61%, Recall@1은 96.42%를 기록하여 비교된 모든 방법 중 최고의 mAP와 두 번째로 높은 Recall@1을 달성했습니다.
• Oxford-5k와 Paris-6k에서 각각 92.95% mAP와 96.21% mAP를 기록했으며, GPU에서 추론 시간은 단 5.2ms였습니다.
• University-1652에서 mAP는 10.98% 향상되고, Recall@1은 11.81%, Recall@10은 5.98% 향상되어 최신 기술 수준의 성능을 달성했습니다.
• GPU 최적화된 GNN 재정렬은 VeRi-776에서 5.2ms, University-1652에서 10.2ms에 실행되어, k-reciprocal 및 SCA와 같은 CPU 기반 방법보다 속도 면에서 수개의 주기수를 뛰어넘었습니다.