[논문 리뷰] Deep Region Hashing for Efficient Large-scale Instance Search from Images

Jingkuan Song, Tao He외 3명|arXiv (Cornell University)|2017. 01. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 32

한 줄 요약

이 논문은 효율적인 대규모 인스턴스 검색을 위해 객체 제안 생성, 특징 추출, 이진 해시 코드 학습을 종합적으로 수행하는 엔드 투 엔드 딥 네ural 네트워크인 딥 리지온 해싱(DRH)을 제안한다. 영역 제안 네트워크와 특징 추출기 간에 전체 이미지 컨볼루션 특징을 공유함으로써 DRH는 거의 비용이 들지 않는 영역 제안을 가능하게 하며, 네 가지 벤치마크 데이터셋에서 상태최저 성능(mAP)을 기록하면서도 기존 최고 수준의 방법보다 최대 100배 빠른 속도 향상을 이룬다.

ABSTRACT

Instance Search (INS) is a fundamental problem for many applications, while it is more challenging comparing to traditional image search since the relevancy is defined at the instance level. Existing works have demonstrated the success of many complex ensemble systems that are typically conducted by firstly generating object proposals, and then extracting handcrafted and/or CNN features of each proposal for matching. However, object bounding box proposals and feature extraction are often conducted in two separated steps, thus the effectiveness of these methods collapses. Also, due to the large amount of generated proposals, matching speed becomes the bottleneck that limits its application to large-scale datasets. To tackle these issues, in this paper we propose an effective and efficient Deep Region Hashing (DRH) approach for large-scale INS using an image patch as the query. Specifically, DRH is an end-to-end deep neural network which consists of object proposal, feature extraction, and hash code generation. DRH shares full-image convolutional feature map with the region proposal network, thus enabling nearly cost-free region proposals. Also, each high-dimensional, real-valued region features are mapped onto a low-dimensional, compact binary codes for the efficient object region level matching on large-scale dataset. Experimental results on four datasets show that our DRH can achieve even better performance than the state-of-the-arts in terms of MAP, while the efficiency is improved by nearly 100 times.

연구 동기 및 목표

• 영역 제안과 특징 추출을 분리한 기존 이중 단계 인스턴스 검색 파이프라인의 비효율성과 열등한 성능을 해결하기 위해.
• 대규모 데이터셋에서 고차원 특징 매칭의 계산 병목 현상을 해결하기 위해 압축된 이진 해시 코드를 학습함으로써.
• 정확도와 효율성을 향상시키기 위해 영역 제안, 특징 학습, 해시 코드 생성을 종합적으로 최적화하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 대규모 인스턴스 검색에서 평균 평균 정밀도(mAP) 성능를 최고 수준으로 달성하면서 검색 시간을 극적으로 단축하기 위해.

제안 방법

• DRH는 객체 제안, 특징 추출, 해시 코드 생성을 하나의 아키텍처에 통합한 엔드 투 엔드 딥 네럴 네트워크이다.
• 영역 제안 네트워크와 특징 추출기 간에 전체 이미지 컨볼루션 특징맵을 공유함으로써 거의 비용이 들지 않는 영역 제안을 가능하게 한다.
• 각 영역의 고차원 실수값 특징은 효율적인 유사도 검색을 위해 저차원의 압축된 이진 해시 코드로 매핑된다.
• 해시 코드 생성 레이어는 의미적 유사성을 유지하는 분류 가능한 이진 코드를 학습하여 효과적인 인스턴스 수준 매칭을 가능하게 한다.
• 모델은 영역 국소화와 해시 코드 품질을 동시에 최적화하기 위해 사일렌시 유사 네트워크 구조를 사용해 비지도 학습 방식으로 훈련된다.
• 프레임워크는 전역(gDRH) 및 국소(lDRH) 재순서 전략을 지원하며, 검색 정확도 향상을 위해 질의 확장(QE)을 적용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 프레임워크가 영역 제안, 특징 추출, 해시 코드 생성을 종합적으로 최적화하여 인스턴스 검색의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 영역 제안 모듈과 특징 추출 모듈 간에 전체 이미지 컨볼루션 특징을 공유할 경우 계산 비용과 성능에 어떤 영향을 미치는가?
• RQ3 학습된 이진 해시 코드가 대규모 인스턴스 검색에서 검색 시간을 얼마나 줄일 수 있으며, 검색 정확도를 유지하거나 향상시키는 데 기여하는가?
• RQ4 기본 성능 기준으로 표준 벤치마크에서 제안된 DRH 방법이 최고 수준의 방법과 mAP 및 추론 속도 측면에서 어떻게 비교되는가?
• RQ5 딥 리지온 해싱에 재순서 및 질의 확장을 통합하면 검색 성능이 추가로 향상되는가?

주요 결과

• 옥스포드 105k 데이터셋에서 DRH는 평균 평균 정밀도(mAP) 0.825를 달성하였으며, 기존 최고 수준의 방법인 Tolias et al. + AML + QE보다 9.3% 높다.
• 파리 106k 데이터셋에서 DRH는 mAP 0.802를 기록하여 기준 방법 대비 상대적 개선률 9.3%를 달성하였다.
• 512비트 해시 코드를 사용할 경우, 옥스포드 105k 및 파리 106k 데이터셋에서 검색 시간을 단 3밀리초로 단축하여 기존 CNN 특징 방법 대비 300배 이상의 속도 향상을 보였다.
• 1024비트 해시 코드를 사용할 경우에도 DRH는 기준 방법 대비 100배 빠른 속도 향상을 유지하여 확장성과 효율성을 입증하였다.
• 정성적 결과는 질의가 대상 이미지의 전체 이미지가 아닌 소규모 영역일 경우에도 DRH가 정확하게 인스턴스를 검색할 수 있음을 보여주었다.
• 압축에 의한 정보 손실로 고통받는 기존 해싱 기반 방법보다 성능가 뛰어나며, 속도와 정확도 측면에서 비해싱 방법보다도 뛰어난 성능을 보였다.