[논문 리뷰] From Selective Deep Convolutional Features to Compact Binary Representations for Image Retrieval

Thanh-Toan Do, Tuan Hoang외 4명|arXiv (Cornell University)|2018. 02. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 81인용 수 7

한 줄 요약

이 논문은 SIFT-mask, SUM-mask, MAX-mask를 사용하여 부정확한 딥 컨볼루션 특징을 선택적으로 제거하고, 최신 임베딩 및 집계 기법을 적용한 후 해싱을 통해 표현을 압축함으로써, 계산 효율성이 뛰어나면서도 분류 능력이 향상된 이미지 검색을 위한 새로운 프레임워크를 제안한다. 이 방법은 여섯 가지 벤치마크에서 최신 기술 수준을 넘어서는 성능을 달성하였으며, 실수형 표현과 매우 컴팩트한 이진 표현 모두에서 이전 연구를 크게 능가한다.

ABSTRACT

In the large-scale image retrieval task, the two most important requirements are the discriminability of image representations and the efficiency in computation and storage of representations. Regarding the former requirement, Convolutional Neural Network (CNN) is proven to be a very powerful tool to extract highly discriminative local descriptors for effective image search. Additionally, in order to further improve the discriminative power of the descriptors, recent works adopt fine-tuned strategies. In this paper, taking a different approach, we propose a novel, computationally efficient, and competitive framework. Specifically, we firstly propose various strategies to compute masks, namely SIFT-mask, SUM-mask, and MAX-mask, to select a representative subset of local convolutional features and eliminate redundant features. Our in-depth analyses demonstrate that proposed masking schemes are effective to address the burstiness drawback and improve retrieval accuracy. Secondly, we propose to employ recent embedding and aggregating methods which can significantly boost the feature discriminability. Regarding the computation and storage efficiency, we include a hashing module to produce very compact binary image representations. Extensive experiments on six image retrieval benchmarks demonstrate that our proposed framework achieves the state-of-the-art retrieval performances.

연구 동기 및 목표

• 딥 컨볼루션 특징의 번쩍임 문제( Burstiness )로 인해 이미지 검색에서 분류 능력이 저하되는 문제를 해결하기 위해.
• 선택적 특징 마스킹과 고급 임베딩 및 집계 기법을 조합하여 특징의 분류 능력을 향상시키기 위해.
• 해싱을 통한 표현 압축을 통해 효율적인 대규모 검색을 가능하게 하기 위해.
• 실수형 표현과 매우 컴팩트한 이진 표현 모두에서 최신 기술 수준의 성능을 달성하기 위해.
• 특징 제거를 통해 처리 시간을 줄임으로써 계산 효율성을 입증하기 위해.

제안 방법

• 대표적인 국소 컨볼루션 특징를 선택하고 불필요한 특징를 제거하기 위해 SIFT-mask, SUM-mask, MAX-mask 세 가지 마스킹 기법을 제안한다.
• SIFT-mask는 SIFT 검출기 좌표를 사용하고, SUM-mask는 특징 맵을 통한 합성 풀링을 사용하며, MAX-mask는 최댓값 풀링과 위치 추출을 함께 사용한다.
• 선택된 특징의 분류 능력을 향상시키기 위해 최신 임베딩 및 집계 기법(예: Jégou & Zisserman, 2014; Do & Cheung, 2018)을 적용한다.
• 실수형 표현을 압축하여 효율적인 저장 및 검색을 위한 컴팩트한 이진 코드로 변환하기 위해 ITQ 기반의 해싱 모듈을 통합한다.
• 마스킹 → 임베딩/집계 → 해싱의 계층적 프레임워크를 구축하며, 검색 성능 향상을 위해 엔드 투 엔드 최적화를 수행한다.
• 백본 네트워크로 VGG-16을 사용하고, 특징 집계 이전에 마스킹을 적용하여 계산 부담을 감소시킨다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 특징의 선택적 마스킹가 번쩍임과 중복성을 줄여 검색 정확도를 향상시킬 수 있는가?
• RQ2 선택적 특징 마스킹과 고급 임베딩 및 집계 기법을 조합하면 기존 방법보다 더 나은 분류 능력을 가진 표현을 얻을 수 있는가?
• RQ3 제안된 프레임워크가 실수형 표현과 컴팩트한 이진 표현 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 프레임워크의 계산 효율성은 R-MAC와 같은 기존 방법과 비교해 어떻게 되는가?
• RQ5 다양한 마스킹 전략(SIFT-mask, SUM-mask, MAX-mask)이 성능 및 속도에 얼마나 기여하는가?

주요 결과

• 제안된 프레임워크는 6개의 이미지 검색 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, Oxford5k에서 68.9% mAP, Paris106k에서 70.3% mAP를 기록하였다. 이는 512비트 이진 코드를 사용한 결과이다.
• 64바이트 표현 크기에서, 이 프레임워크는 GeM(Radenović 등, 2017)보다 Oxford5k에서 +11.2% 향상되었고, Holidays에서 +22.6% 향상되었다.
• MAX-mask와 SUM-mask는 각각 특징의 중복성을 약 70%, 50% 감소시켜 계산 비용을 크게 낮추었다.
• 512-D 표현에서 R-MAC보다 빠른 속도를 보였으며, 효과적인 특징 제거 덕분에 온라인 처리 시간이 짧았다.
• MAX-mask, Δ-임베딩, ITQ 해싱의 조합은 Holidays에서 64바이트 이진 코드로 83.6% mAP를 달성하여 이전 최신 기술 수준을 뛰어넘었다.
• 실증적 아블레이션 분석 결과, 이미 분류 능력이 뛰어난 딥 특징에 대해서도 선택적 특징에 대한 임베딩 및 집계가 성능 향상에 크게 기여하는 것으로 확인되었다.