[논문 리뷰] An accurate retrieval through R-MAC+ descriptors for landmark recognition

Federico Magliani, Andrea Prati|arXiv (Cornell University)|2018. 06. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 향상된 영역 검출과 새로운 검색 방법을 통해 R-MAC+ 기반 기술자와 'db 영역'(데이터베이스 이미지에서 추출한 대표 패치)을 사용하여 랜드마크 인식 정확도를 크게 향상시킨다. 이 방법은 피인코딩 없이도 Holidays 데이터셋에서 최신 기술 수준의 mAP를 달성하고, Oxford5k와 Paris6k에서도 경쟁력 있는 성능을 보이며, R-MAC보다 각각 +7%와 +3% 향상된 성능을 기록한다.

ABSTRACT

The landmark recognition problem is far from being solved, but with the use of features extracted from intermediate layers of Convolutional Neural Networks (CNNs), excellent results have been obtained. In this work, we propose some improvements on the creation of R-MAC descriptors in order to make the newly-proposed R-MAC+ descriptors more representative than the previous ones. However, the main contribution of this paper is a novel retrieval technique, that exploits the fine representativeness of the MAC descriptors of the database images. Using this descriptors called "db regions" during the retrieval stage, the performance is greatly improved. The proposed method is tested on different public datasets: Oxford5k, Paris6k and Holidays. It outperforms the state-of-the- art results on Holidays and reached excellent results on Oxford5k and Paris6k, overcame only by approaches based on fine-tuning strategies.

연구 동기 및 목표

• 적응형 그리드 기반 영역 검출 및 다중 해상도 특징 추출을 통해 R-MAC 기술자의 대표성을 향상시키기.
• 표준 R-MAC 검색의 한계를 보완하기 위해 쿼리 매칭 시 데이터베이스 이미지에서 유의미한 영역을 활용하기.
• 이동 및 실시간 응용 프로그램에 적합한 효율성을 유지하면서 정확도를 향상시키는 검색 방법 개발.
• 비용이 많이 드는 피인코딩 전략에 의존하지 않고도 공개 벤치마크에서 최신 기술 수준의 성능 달성.
• 적응형 그리드와 영역 기반 매칭을 통해 특징 국소화 및 매칭 정밀도를 향상시켜 의미 갭을 줄이기.

제안 방법

• 이미지의 종횡비를 유지하는 적응형 그리드 기반 영역 검출기를 도입하여 MAC 기술자 계산을 위한 주목할 만한 특징을 더 잘 국소화한다.
• 더 큰 특징 맵을 사용하여 다중 해상도 R-MAC 방법을 향상시켜 공간 해상도와 특징의 구분 능력을 향상시킨다.
• 쿼리 기술자를 전체 기술자 대신 데이터베이스 이미지에서 추출한 개별 'db 영역'(대표 패치)과 매칭하는 새로운 검색 전략을 제안한다.
• 검색 중에 데이터베이스 이미지에서 가장 구분력 있는 영역들(db 영역)을 기준점으로 사용하여 전역 기술자 대비 매칭 정확도를 향상시킨다.
• 유사도에 기반해 각 db 영역이 후보 이미지에 투표하는 투표 메커니즘을 적용하여 시야각 및 조명 변화에 대한 강건성을 높인다.
• 사전에 계산된 R-MAC 기술자를 재사용하고 CNN의 재학습 또는 피인코딩을 피함으로써 계산 효율성을 유지한다.

Figure 1. Representation of feature maps extracted from a certain layer of CNN

실험 결과

연구 질문

• RQ1 고정 그리드 대비 적응형 그리드 기반 영역 검출이 R-MAC 기술자의 구분 능력을 향상시킬 수 있는가?
• RQ2 다중 해상도 특징 맵을 사용하면 랜드마크 인식에서 R-MAC 기술자의 대표성 향상에 기여하는가?
• RQ3 전체 기술자가 아닌 개별 데이터베이스 영역('db 영역')과 쿼리 기술자를 매칭하는 것이 검색 정확도를 크게 향상시킬 수 있는가?
• RQ4 제안된 'db 영역' 기반 검색 방법은 Oxford5k, Paris6k, Holidays와 같은 벤치마크 데이터셋에서 표준 R-MAC 및 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법이 사전 학습된 CNN의 피인코딩 없이 얼마나 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 R-MAC+와 'db 영역' 기반 검색은 Holidays 데이터셋에서 평균 평균 정밀도(mAP) 94.37%를 달성하여 이전의 피인코딩 없이도 모든 기존 방법을 능가한다.
• Holidays의 회전된 버전에서 이 방법은 95.87% mAP를 기록하여 이미지 회전 및 시야각 변화에 대한 강건성을 입증한다.
• 피인코딩 없이도 Oxford5k에서 R-MAC 성능을 +7% 향상시켰으며(85.39% 대비 77.30%), Paris6k에서는 +3% 향상시켰다(91.90% 대비 86.50%).
• 'db 영역' 기반 검색 전략은 Oxford5k와 Paris6k에서 성능을 크게 향상시켜 국소화된 대표 영역이 전역 기술자보다 매칭에 더 효과적임을 시사한다.
• 쿼리 확장이나 피인코딩 없이도 경쟁력 있는 성능을 기록하였으며, Oxford5k와 Paris6k에서는 Gordo 등(2017)의 피인코딩된 모델들에 의해 뿐만 아니라 뒤처지지 않는다.
• 제안된 방법과 R-MAC(Gordo 등) 간의 성능 격차는 쿼리 확장 전후로 일관되게 유지되며, 이는 핵심적인 향상 요인이 기술자 및 검색 설계 자체에 있음을 시사한다.

Figure 3. Pipeline of creation of ”db regions” for the db images