[논문 리뷰] Deep Convolutional Features for Image Based Retrieval and Scene Categorization

Arsalan Mousavian, Jana Košecká|arXiv (Cornell University)|2015. 09. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 31

한 줄 요약

이 논문은 표준의 마지막 완전히 연결된 층(fc7) 대신 사전 훈련된 CNN의 더 이른 컨볼루션 층(pool5)의 특징 맵을 활용하여 검색 및 장면 분류를 위한 더 효율적이고 효과적인 이미지 표현을 제안한다. 이러한 의미적으로 풍부하고 공간적으로 국소화된 특징에 대해 새로운 풀링 전략—특히 하이브리드 풀링—을 적용함으로써, INRIA Holidays와 SUN397에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하면서도 계산 비용과 메모리 사용을 크게 줄였다. 또한, 교차 지리적 이미지 검색을 위한 새로운 도전적인 GeoPlaces5K 데이터셋을 도입한다.

ABSTRACT

Several recent approaches showed how the representations learned by Convolutional Neural Networks can be repurposed for novel tasks. Most commonly it has been shown that the activation features of the last fully connected layers (fc7 or fc6) of the network, followed by a linear classifier outperform the state-of-the-art on several recognition challenge datasets. Instead of recognition, this paper focuses on the image retrieval problem and proposes a examines alternative pooling strategies derived for CNN features. The presented scheme uses the features maps from an earlier layer 5 of the CNN architecture, which has been shown to preserve coarse spatial information and is semantically meaningful. We examine several pooling strategies and demonstrate superior performance on the image retrieval task (INRIA Holidays) at the fraction of the computational cost, while using a relatively small memory requirements. In addition to retrieval, we see similar efficiency gains on the SUN397 scene categorization dataset, demonstrating wide applicability of this simple strategy. We also introduce and evaluate a novel GeoPlaces5K dataset from different geographical locations in the world for image retrieval that stresses more dramatic changes in appearance and viewpoint.

연구 동기 및 목표

• 더 효율적이고 구분력 있는 CNN 특징를 사용하여 이미지 검색 및 장면 분류 성능을 향상시키는 것.
• fc7 특징에 의존하는 대신, 더 이른 컨볼루션 층(예: pool5)에서의 대체 풀링 전략을 탐색하는 것.
• 큰 시점 및 외관 변화가 있는 도전적인 데이터셋—특히 새로운 GeoPlaces5K 데이터셋—에서 제안된 방법을 평가하는 것.
• 검색 작업에서 fc7 특징보다 pool5 특징가 더 의미적으로 유의미하고 공간적으로 국소화되어 있음을 보여주는 것.
• 객체 중심 훈련(ImageNet)보다 장면 중심 데이터셋(Places)에서 사전 훈련하면 장면 관련 작업에서 더 뛰어난 성능을 내는지 비교하는 것.

제안 방법

• 사전 훈련된 CNN의 pool5 층에서 유도된 특징 맵을 주요 이미지 표현으로 사용한다. (ImageNet 및 Places에서 훈련된 모델 기반)
• pool5 특징 맵에 평균 풀링, 최대 풀링, 그리고 새로운 하이브리드 풀링 전략을 적용하여 공간 정보를 집계한다.
• 하이브리드 풀링 전략은 공간 위치 기반으로 최대 풀링과 평균 풀링을 조합하여 구분력 있는 특징과 강건한 특징를 모두 유지한다.
• 결과적으로 생성된 저차원 특징 벡터(예: 256 또는 512차원)는 최근접 이웃 검색을 통한 검색 및 선형 SVM를 이용한 분류에 사용된다.
• 이 방법은 각 이미지를 네트워크를 한 번만 통과시켜 다중 스케일 또는 다중 크롭 추론을 피함으로써 계산 비용을 감소시킨다.
• 성능 유지와 함께 특징를 압축하기 위해 PCA를 사용하여 차원을 감소시킨다. 특히 검색 작업에서 효과적이다.

실험 결과

연구 질문

• RQ1 더 이른 컨볼루션 층(pool5)의 특징가 표준 fc7 특징보다 이미지 검색 작업에서 뛰어난 성능을 내는가?
• RQ2 다양한 데이터셋에서 평균, 최대, 하이브리드 풀링 전략의 차이가 검색 성능에 어떤 영향을 미치는가?
• RQ3 fc7 대비 pool5 특징를 사용할 경우, 큰 시점 및 외관 변화에 더 잘 일반화되는가?
• RQ4 장면 전용 데이터셋(Places)에서 사전 훈련하는 것과 객체 중심 데이터셋(ImageNet)에서 사전 훈련하는 것의 성능 비교는 어떻게 되는가?
• RQ5 pool5 특징를 사용하는 단순한 단일 프로퍼티 전달 방법이, 메모리와 계산 비용을 크게 줄이고도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• pool5 특징에 하이브리드 풀링을 적용한 결과, SUN397 데이터셋에서 51.54%의 mAP를 달성하여 평균 및 최대 풀링 전략을 모두 초월했다.
• pool5 특징에 하이브리드 풀링과 PCA를 적용함으로써 특징 차원을 512로 압축하면서도 높은 성능를 유지하여 저메모리 프로파일에서 효율적인 검색을 가능케 했다.
• 모든 검색 및 분류 작업에서 Places에서 사전 훈련된 CNN이 ImageNet에서 사전 훈련된 CNN보다 뛰어난 성능를 보였으며, 특히 장면 중심 데이터셋에서 두드러졌다.
• INRIA Holidays에서 메모리 사용량이 fc7 기반 기준선의 1/10에 불과하면서도 경쟁력 있는 성능를 달성하여 높은 효율성을 입증했다.
• 극도로 다양한 시점과 외관 변화를 포함하는 새로운 GeoPlaces5K 데이터셋에서, 이 방법은 강력한 내성적 특성을 보이며 실제 지리적 다양성에 대한 일반화 능력을 입증했다.
• 고차원 특징(예: 512차원)이 대규모 분류 작업에서 성능 향상을 이끌어내어, 세분화된 분류에 대해 저차원 표현의 한계를 보여주었다.