[논문 리뷰] Large-Scale Image Retrieval with Attentive Deep Local Features

Hyeonwoo Noh, André Araujo외 3명|arXiv (Cornell University)|2016. 12. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 50

한 줄 요약

이 논문은 이미지 수준 레이블만을 사용해 훈련하는 주의 메커니즘을 갖춘 CNN 기반 국소 특징 기술자인 DELF(DEep Local Feature)를 소개한다. 이는 단일 순방향 전파에서 관건점 선택과 국소 특징 추출을 동시에 학습함으로써 대규모 벤치마크에서 최신 기술을 압도적으로 뛰어넘는 성능을 달성한다. 특히 100만 개 이상의 이미지를 포함하는 새로운 Google-Landmarks 데이터셋에서 기존의 글로벌 및 국소 기술자보다 뛰어난 성능을 보였다.

ABSTRACT

We propose an attentive local feature descriptor suitable for large-scale image retrieval, referred to as DELF (DEep Local Feature). The new feature is based on convolutional neural networks, which are trained only with image-level annotations on a landmark image dataset. To identify semantically useful local features for image retrieval, we also propose an attention mechanism for keypoint selection, which shares most network layers with the descriptor. This framework can be used for image retrieval as a drop-in replacement for other keypoint detectors and descriptors, enabling more accurate feature matching and geometric verification. Our system produces reliable confidence scores to reject false positives---in particular, it is robust against queries that have no correct match in the database. To evaluate the proposed descriptor, we introduce a new large-scale dataset, referred to as Google-Landmarks dataset, which involves challenges in both database and query such as background clutter, partial occlusion, multiple landmarks, objects in variable scales, etc. We show that DELF outperforms the state-of-the-art global and local descriptors in the large-scale setting by significant margins. Code and dataset can be found at the project webpage: https://github.com/tensorflow/models/tree/master/research/delf .

연구 동기 및 목표

• 실제 환경에서의 도전 과제인 가림, 혼잡함, 시점 변화에 대응할 수 있도록 최적화된 대규모 이미지 검색을 위한 딥 국소 특징 기술자를 개발하는 것.
• 비용이 많이 드는 관건점 또는 패치 수준 애너테이션 대신 이미지 수준 애너테이션만을 사용하는 약한 감독 훈련 프레임워크를 설계하는 것.
• 기본 기술자와 동일한 네트워크를 사용해 의미적으로 관련성이 높은 관건점을 스코어링하고 선택하는 공유 아키텍처 주의 메커니즘을 통합하여 특징의 관련성과 매칭 정확도를 향상시키는 것.
• 100만 장의 데이터베이스 이미지와 10만 장의 쿼리 이미지를 포함하는 대규모이고 다양한 데이터셋인 Google-Landmarks를 도입하여 검색 시스템의 철저한 평가를 가능하게 하는 것.
• 제안된 시스템이 대규모 환경에서 최신 기술에 비해 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 지역 특징 기술자인 DELF를 제안하며, 랜드마크 데이터셋의 이미지 수준 레이블만을 사용해 엔드 투 엔드로 훈련한다.
• 기본 기술자와 동일한 네트워크를 사용하는 공유 아키텍처 주의 메커니즘을 도입하여, 동일한 순방향 전파에서 특징 추출과 관건점 선택을 동시에 수행할 수 있도록 한다.
• 두 단계 훈련 프로세스를 사용한다: 먼저 대규모 랜드마크 데이터셋에서 이미지 수준 감독 하에 사전 훈련한 후, 관건점 애너테이션이 있는 부분집합에서 미세조정하여 국소화 성능을 향상시킨다.
• DELF의 점수와 함께 DIR 등의 글로벌 기술자 점수를 가중 평균하여 융합하는 후기 융합 전략을 사용해 성능을 향상시킨다.
• 인덱싱된 DELF 특징을 사용해 기하학적 검증과 최근접 이웃 검색을 수행하여 매칭된 특징 기반으로 데이터베이스 이미지를 순위 매긴다.
• 비교적 새로운 대규모 데이터셋인 Google-Landmarks를 활용하며, 13,000개의 랜드마크에 걸쳐 총 130만 장의 이미지와 10만 장의 쿼리 이미지를 포함하며, 매칭되지 않는 쿼리까지 포함해 강건성 테스트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 수준 감독만으로 훈련된 딥 국소 특징 기술자가 대규모 이미지 검색에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 기본 기술자와 동일한 파라미터를 공유하는 주의 메커니즘이 관건점 선택과 매칭 정확도를 향상시키는가?
• RQ3 가림, 혼잡함, 다양한 스케일과 같은 도전적인 조건에서 제안된 시스템은 대규모 벤치마크에서 어떻게 성능을 내는가?
• RQ4 DELF와 글로벌 기술자의 융합은 개별적으로 사용할 경우보다 더 나은 성능을 내는가?
• RQ5 데이터베이스에 정확한 매칭 항목이 없는 쿼리에 대해 제안된 시스템은 강건한가?

주요 결과

• DELF는 기하학적 검증과 DIR를 함께 사용했을 때 Oxf105k에서 mAP 90.0%, Par106k에서 mAP 92.8%를 기록하여 기존 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 새로운 Google-Landmarks 데이터셋에서 DELF는 부분적 가림, 배경 혼잡함, 다수의 랜드마크 존재 등의 도전적인 조건에서도 강건성을 보였으며, 매칭되지 않는 쿼리 상황에서도 높은 리콜을 기록했다.
• 주의 기반 관건점 선택 방법은 혼잡한 영역을 효과적으로 걸러내며, L2-노름 기반 선택 및 CONGAS와의 정성적 비교에서 특징 국소화 성능에서 뛰어난 성능을 보였다.
• DELF+FT+ATT는 Oxf5k에서 83.8%의 mAP, Par6k에서 85.0%의 mAP를 기록하여 융합 없이도 강력한 성능을 보였으며, 글로벌 기술자와 융합할 경우 더욱 향상되었다.
• 시스템은 잘못된 매칭을 거부하는 데 도움이 되는 신뢰도 점수를 신뢰성 있게 생성한다. 특히 데이터베이스에 정확한 매칭 항목이 존재하지 않는 경우에 특히 유용하다.
• 정성적 결과에서는 DELF가 다양한 시점에서 랜드마크와 물체를 성공적으로 매칭하는 반면, CONGAS는 동일한 경우에 관련 이미지를 전혀 검색하지 못하는 것으로 나타났다.