[논문 리뷰] Selective Deep Convolutional Features for Image Retrieval

Tuan Hoang, Thanh-Toan Do외 2명|arXiv (Cornell University)|2017. 07. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 선택적 마스킹(SIFT-mask, SUM-mask, MAX-mask)을 적용하여 부정확한 특징을 감소시키고 분류 능력을 향상시키기 위해 딥 컨volution 레이어의 특징을 개선하는 새로운 프레임워크를 제안한다. 이 후 최신의 임bedding 및 아그리게이션 기법을 적용하여 이미지 검색 성능을 향상시킨다. 제안된 방법은 다양한 벤치마크에서 1024차원에서 기존 방법보다 2.5% 이상 높은 mAP 성능을 달성하면서도 계산 비용을 최대 70%까지 감소시켜 최신 기술 수준의 검색 정확도를 확보한다.

ABSTRACT

Convolutional Neural Network (CNN) is a very powerful approach to extract discriminative local descriptors for effective image search. Recent work adopts fine-tuned strategies to further improve the discriminative power of the descriptors. Taking a different approach, in this paper, we propose a novel framework to achieve competitive retrieval performance. Firstly, we propose various masking schemes, namely SIFT-mask, SUM-mask, and MAX-mask, to select a representative subset of local convolutional features and remove a large number of redundant features. We demonstrate that this can effectively address the burstiness issue and improve retrieval accuracy. Secondly, we propose to employ recent embedding and aggregating methods to further enhance feature discriminability. Extensive experiments demonstrate that our proposed framework achieves state-of-the-art retrieval accuracy.

연구 동기 및 목표

• 딥 컨볼루션 특징에서 발생하는 버스트니스 문제를 해결하여 이미지 검색 성능 저하를 방지하기 위해.
• 네트워크 깊이나 파인튜닝에만 의존하지 않고 국소 컨볼루션 특징의 분류 능력을 향상시키기 위해.
• 효과적인 마스킹 기반으로 부정확한 특징을 제거하여 계산 비용을 감소시키기 위해.
• 임베딩 및 아그리게이션 기법이 이미 강력한 딥 특징이라도 분류 능력을 크게 향상시킬 수 있음을 입증하기 위해.
• 파인튜닝된 네트워크와도 호환되는 경량이고 효율적인 프레임워크를 통해 최신 기술 수준의 검색 정확도를 달성하기 위해.

제안 방법

• 선택적 특징 선택을 위한 세 가지 마스킹 기법을 도입: SIFT-mask(SIFT 검출기 반응을 사용), SUM-mask(특징 채널에 대해 합산 풀링), MAX-mask(채널에 대해 최대 풀링).
• 선택된 특징에 최신 기술 수준의 임베딩 및 아그리게이션 기법(예: Jégou & Zisserman, 2014; Do et al., 2015)을 적용하여 추가로 분류 능력을 향상시킨다.
• 컨볼루션 레이어의 3D 활성화 텐서를 입력으로 사용하여 사전 학습된 모델과 파인튜닝된 CNN(예: VGG) 모두와 호환 가능하도록 한다.
• 이중 단계 프레임워크를 활용: (1) 마스킹에 의한 특징 선택, (2) 임베딩 및 아그리게이션을 통한 최종 이미지 표현 생성.
• 정확도와 효율성 양쪽을 최적화하며, 표준 CPU를 사용해 옥스포드5k에서의 처리 시간을 측정한다.
• 옥스포드5k, 파리106k, 휴스턴 등 다양한 벤치마크에서 mAP를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 특징의 선택적 마스킹가 부정확성을 줄이고 검색 정확도를 향상시킬 수 있는가?
• RQ2 선택된 특징에 임베딩 및 아그리게이션을 적용하면 딥 특징 자체만으로는 달성할 수 없는 분류 능력을 추가로 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 정확도와 계산 효율성 측면에서 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ4 파인튜닝된 네트워크와도 경쟁 가능한 성능을 달성하면서도 효율적이고 일반화 능력이 뛰어나게 설계될 수 있는가?
• RQ5 국소 특징에서 발생하는 버스트니스가 검색 성능을 얼마나 심각하게 떨어뜨리는가? 그리고 효과적으로 완화될 수 있는가?

주요 결과

• 제안된 프레임워크는 옥스포드5k, 옥스포드105k, 휴스턴, 파리106k 등 대부분의 벤치마크에서 1024차원에서 기존 방법보다 2.5% 이상 높은 mAP 성능을 달성하여 최신 기술 수준의 성능을 확보했다.
• MAX-mask와 SUM-mask 기법은 각각 특징 수를 약 70%, 50% 감소시켜 계산 비용을 크게 낮췄다.
• 512차원에서 프레임워크는 기존 최고 성능의 방법들과 경쟁 가능했으며 대부분의 데이터셋에서 기존 방법을 능가했다.
• 512-D에서 R-MAC보다 계산 속도가 더 빠르며, 특징 정제로 인해 온라인 처리 시간이 감소했다.
• 파인튜닝된 VGG 네트워크에서 유도된 특징을 사용하더라도 매우 경쟁 가능한 성능을 달성했으며, 대부분의 벤치마크에서 기존 작업을 능가했다.
• 마스킹과 임베딩/아그리게이션의 조합은 성능 향상에 중대한 기여를 하였으며, 심지어 매우 분류 능력이 뛰어난 특징이라도 추가로 정제함으로써 성능 향상이 가능함을 입증했다.