[논문 리뷰] Particular object retrieval with integral max-pooling of CNN activations

Giorgos Tolias, Ronan Sicre외 1명|arXiv (Cornell University)|2015. 11. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 45인용 수 674

한 줄 요약

이 논문은 효율적인 물체 검색 및 재순서 정렬을 위해 통합 최대 풀링( integral max-pooling)을 활용한 컴act한 CNN 기반 특징 표현을 제안한다. 일반화된 평균 풀링과 통합 영상( integral images)을 활용함으로써, Oxford5k와 Paris6k에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이전의 CNN 기반 접근 방식을 뛰어넘고 전통적인 국소 특징 기반 방법과도 경쟁 가능하다.

ABSTRACT

Recently, image representation built upon Convolutional Neural Network (CNN) has been shown to provide effective descriptors for image search, outperforming pre-CNN features as short-vector representations. Yet such models are not compatible with geometry-aware re-ranking methods and still outperformed, on some particular object retrieval benchmarks, by traditional image search systems relying on precise descriptor matching, geometric re-ranking, or query expansion. This work revisits both retrieval stages, namely initial search and re-ranking, by employing the same primitive information derived from the CNN. We build compact feature vectors that encode several image regions without the need to feed multiple inputs to the network. Furthermore, we extend integral images to handle max-pooling on convolutional layer activations, allowing us to efficiently localize matching objects. The resulting bounding box is finally used for image re-ranking. As a result, this paper significantly improves existing CNN-based recognition pipeline: We report for the first time results competing with traditional methods on the challenging Oxford5k and Paris6k datasets.

연구 동기 및 목표

• CNN 기반 특징이 기하학적 인식 재순서 정렬 및 쿼리 확장 방법과의 호환성에 한계를 가진다는 문제를 해결한다.
• 단일 CNN 전방 전파(forward pass)로도 특정 물체의 효율적 로컬라이제이션을 가능하게 한다.
• 초기 필터링과 재순서 정렬을 모두 지원하는, 합성 특징 맵에서 유래된 통합 표현을 개발한다.
• 국소 특징 매칭에 의존하지 않고도, Oxford5k와 Paris6k와 같은 벤치마크 데이터셋에서 컴act한 CNN 특징을 활용해 검색 성능을 향상시킨다.

제안 방법

• 사전 훈련된 CNN의 특징 맵에서 다수의 관심 영역(region of interest)에 대해 통합 최대 풀링을 적용하여 컴act한 이미지 표현을 도입한다.
• 통합 영상 개념을 확장하여 2차원 특징 맵에서 최대 풀링 연산을 지원함으로써, 빠르고 미분 가능한 매칭 영역 로컬라이제이션을 가능하게 한다.
• 일반화된 평균 풀링(α=2)을 사용하여 통합 영상와 최대 풀링을 함께 사용할 수 있도록 하여, 활성화 기반 유사도 점수를 효율적으로 계산한다.
• 최고로 활성화된 영역을 활용해 초기 검색 결과를 개선하는 새로운 쿼리 확장 방법(AML)을 통해 국소화된 특징을 재순서 정렬에 적용한다.
• 전체 특징 벡터만 저장하고, 추론 중에 통합 최대 풀링 메커니즘을 사용해 동적으로 영역 수준의 특징을 추출한다.
• 초기 필터링 단계에서 사용된 동일한 CNN 활성화를 활용하는 재순서 정렬 파이프라인과 컴act 표현을 통합한다.

실험 결과

연구 질문

• RQ1 단일 CNN 특징 표현이 특정 물체 검색에서 초기 필터링과 기하학적 인식 재순서 정렬을 모두 지원할 수 있는가?
• RQ2 합성 활성화에 대한 통합 최대 풀링이 다중 네트워크 추론 없이도 효율적이고 정확한 물체 로컬라이제이션을 가능하게 하는가?
• RQ3 일반화된 평균 풀링을 사용하면 최대 풀링과 함께 통합 영상을 사용할 수 있으며, CNN 특징 맵에서의 빠른 로컬라이제이션을 가능하게 하는가?
• RQ4 컴act한 특징과 재순서 정렬을 갖춘 CNN 기반 시스템이 Oxford5k와 Paris6k와 같은 표준 벤치마크에서 전통적인 국소 특징 기반 방법을 초월할 수 있는가?

주요 결과

• 통합 최대 풀링을 사용한 제안된 R-MAC 방법은 Oxford5k에서 77.0% mAP, Paris6k에서 86.5% mAP를 달성하여, 두 벤치마크에서 모두 이전의 모든 CNN 기반 방법을 능가한다.
• 이 방법은 출판된 CNN 기반 접근 방식 중에서 Paris6k에서 가장 높은 성능을 기록했으며, 일부 국소 특징 기반 시스템을 뛰어넘었다.
• AML 기반 재순서 정렬 방법은 R-MAC 표현에 적용했을 때 Paris6k에서 mAP를 최대 3.9%p 향상시켰다.
• 통합 풀링 프레임워크에서 최대 풀링을 합 풀링(α=1)으로 대체하면 성능이 저하되며(Paris106k에서 76.9% mAP), 이는 이 맥락에서 최대 풀링의 우수성을 확인한다.
• Oxford5k에서 Razavian 등(2014b)의 크로스 매칭 접근 방식보다 3.0%p mAP가 높으며, 메모리와 계산 자원 소비 측면에서 훨씬 더 효율적이다.
• 다중 전방 전파나 개별 영역 특징 저장이 필요한 이전의 CNN 기반 접근 방식보다 단일 추론 설계 덕분에 더 효율적이다.