[논문 리뷰] Kernelized Deep Convolutional Neural Network for Describing Complex Images

Zhen Liu|arXiv (Cornell University)|2015. 09. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 복잡한 이미지에서 이미지 표현의 강건성을 향상시키기 위해 패치 수준의 CNN 특징과 피셔 벡터 집약을 활용한 커널 기반 딥 컨volution 신경망(KCNN)을 제안한다. 이는 Oxford Buildings, Holidays, UKBench와 같은 벤치마크 데이터셋에서 기하 변환에 특히 강건한 성능 향상을 이끌어내며 이미지 검색 정확도를 크게 향상시킨다.

ABSTRACT

With the impressive capability to capture visual content, deep convolutional neural networks (CNN) have demon- strated promising performance in various vision-based ap- plications, such as classification, recognition, and objec- t detection. However, due to the intrinsic structure design of CNN, for images with complex content, it achieves lim- ited capability on invariance to translation, rotation, and re-sizing changes, which is strongly emphasized in the s- cenario of content-based image retrieval. In this paper, to address this problem, we proposed a new kernelized deep convolutional neural network. We first discuss our motiva- tion by an experimental study to demonstrate the sensitivi- ty of the global CNN feature to the basic geometric trans- formations. Then, we propose to represent visual content with approximate invariance to the above geometric trans- formations from a kernelized perspective. We extract CNN features on the detected object-like patches and aggregate these patch-level CNN features to form a vectorial repre- sentation with the Fisher vector model. The effectiveness of our proposed algorithm is demonstrated on image search application with three benchmark datasets.

연구 동기 및 목표

• 복잡한 이미지에서 기하 변환(이동, 회전, 확대)에 대한 전역 CNN 특징의 한계를 해결한다.
• 콘텐츠 기반 이미지 검색에서 표준 CNN의 객체 위치 및 척도 변화에 대한 민감성을 완화한다.
• 일반적인 기하 변환에 대해 불변성을 유지하는 고정된 크기의 벡터 기반 이미지 표현을 개발한다.
• 전역 특징이 실패하는 복잡한 다강인물 시나리오에서 이미지 검색 작업 성능을 향상시킨다.
• 딥 특징과 커널 기반 집약(Fisher 벡터)을 통합하여 분류 능력을 향상시키면서도 공간 불변성을 유지한다.

제안 방법

• 선택적 검색 또는 유사한 방법을 사용하여 복잡한 이미지에서 객체 유사 패치를 탐지하여 주목할 만한 영역을 국소화한다.
• 사전 훈련된 컨volution 신경망(예: Caffe 기반 아키텍처)을 사용하여 각 탐지된 패치에서 딥 CNN 특징을 추출한다.
• 패치 수준의 CNN 특징을 피셔 벡터 모델을 사용하여 집약하여 고정 길이의 분류 능력 있는 벡터 표현을 생성한다.
• 피셔 벡터가 양자화 및 잔차 정보를 모두 인코딩할 수 있도록 활용하여 기하 변형에 대한 강건성을 향상시킨다.
• 최종 KCNN 표현을 검색 작업용 전역 이미지 기술자로 사용한다.
• mAP 및 상위-k 정밀도 메트릭을 사용하여 Oxford Buildings, Holidays, UKBench와 같은 표준 벤치마크에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 전역 CNN 특징는 복잡한 이미지에서 이동, 회전, 확대와 같은 기하 변환에 어떻게 반응하는가?
• RQ2 패치 기반 CNN 특징에 피셔 벡터 집약을 적용할 경우 전역 CNN 특징보다 기하 변환에 대해 더 높은 불변성을 달성할 수 있는가?
• RQ3 제안된 KCNN 방법은 복잡한 다강인물 시나리오에서 표준 CNN 및 BoVW/Fisher 커널 기반 베이스라인보다 이미지 검색 성능에서 뛰어나게 되는가?
• RQ4 KCNN는 SIFT 기반 방법과 비교해 미세 구분 이미지 검색 작업에서 어떻게 성능을 내는가?
• RQ5 KCNN 표현은 콘텐츠 복잡도가 다양한 다양한 이미지 데이터셋 간에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 KCNN 방법은 Holidays 데이터셋에서 0.829 mAP를 달성하여 이전의 CNN 기반 방법(예: [14]에서 0.802 mAP)과 최신 기준선을 모두 능가했다.
• Oxford Buildings 데이터셋에서 KCNN는 0.51 mAP를 기록하여 전역 CNN 기준선(0.38 mAP)을 크게 능가했으며, 각 쿼리당 성능 향상률은 33%에서 355%에 이르렀다.
• UKBench에서 KCNN는 상위-4 정밀도 3.74를 달성하여 CNN 기준선(3.41)과 [3](3.50) 및 [22](3.53)와 같은 경쟁 방법을 모두 뛰어넘었다.
• 특정 쿼리에 대해서는 정밀도가 200% 이상 향상되었으며(예: All Souls에서 +215%), 기하 변형에 대한 강건성이 뛰어나다는 것을 입증했다.
• 복잡한 시나리오에서는 뚜렷한 성능 향상이 있었으며(예: Bodleian에서 +333%, Hertford에서 +242%), 이는 다강인물 및 혼잡한 이미지에서의 효과성을 확인한다.
• Holidays 및 UKBench에서는 뛰어난 성능를 보였지만, Oxford Buildings에서는 여전히 SIFT 기반 방법이 KCNN를 능가했으며, 이는 국소 텍스처와 구조가 더 중요한 미세 구분 건물 인식 과제에서의 과제를 시사한다.