[논문 리뷰] Multi-scale Orderless Pooling of Deep Convolutional Activation Features

Yunchao Gong, Liwei Wang외 2명|arXiv (Cornell University)|2014. 03. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 다중 척도 순서 없는 풀링(MOP-CNN)을 제안하며, 깊이 있는 CNN 특징을 다중 척도 국소 패치에서 활성화를 추출하고, 각 척도에서 순서 없는 VLAD 풀링을 적용한 후 결과를 연결함으로써 개선된 특징을 얻는 방법이다. 이 방법은 미세조정 없이도 SUN397 및 MIT Indoor Scenes에서 최신 기준 성능을 달성하고, ILSVRC 및 Holidays에서도 경쟁 가능한 성능을 보이며 기하학적 불변성을 향상시키면서도 분류 능력을 유지한다.

ABSTRACT

Deep convolutional neural networks (CNN) have shown their promise as a universal representation for recognition. However, global CNN activations lack geometric invariance, which limits their robustness for classification and matching of highly variable scenes. To improve the invariance of CNN activations without degrading their discriminative power, this paper presents a simple but effective scheme called multi-scale orderless pooling (MOP-CNN). This scheme extracts CNN activations for local patches at multiple scale levels, performs orderless VLAD pooling of these activations at each level separately, and concatenates the result. The resulting MOP-CNN representation can be used as a generic feature for either supervised or unsupervised recognition tasks, from image classification to instance-level retrieval; it consistently outperforms global CNN activations without requiring any joint training of prediction layers for a particular target dataset. In absolute terms, it achieves state-of-the-art results on the challenging SUN397 and MIT Indoor Scenes classification datasets, and competitive results on ILSVRC2012/2013 classification and INRIA Holidays retrieval datasets.

연구 동기 및 목표

• 전역 CNN 활성화는 이동, 회전, 척도 변화에 민감하므로 기하학적 불변성을 향상시키는 것.
• 감독 및 비감독 인식 작업 전반에서 성능을 향상시킬 수 있는 일반화된, 미세조정이 없는 특징 표현을 개발하는 것.
• 국소 CNN 특징의 순서 없는 풀링이 전역 활성화보다 강건성과 구분 능력 면에서 뛰어나지 못할지 탐색하는 것.
• 다양한 작업에 특화된 재학습 없이도 다중 척도 국소 특징 집합이 어려운 벤치마크에서 최신 기준 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 전체 이미지(레벨 1), 128×128 패치(레벨 2), 64×64 패치(레벨 3)를 포함한 다중 척도 수준에서 국소 이미지 패치에서 깊이 있는 CNN 활성화 특징을 추출한다.
• 더 세밀한 척도 패치의 활성화에 대해 VLAD(Vector of Locally Aggregated Descriptors) 풀링을 적용하여 순서 없는 불변 표현을 생성한다.
• 전역 CNN 활성화(4096D)와 더 세밀한 척도에서의 VLAD 인코딩 특징을 연결하여 최종 MOP-CNN 기술자 표현을 구성한다.
• 효율적인 검색을 위해 최종 기술자 표현을 압축하기 위해 주성분 분석(PCA)과 화이트닝을 사용한다.
• 훈련 세트의 VLAD 특징을 기반으로 100개의 시각적 단어로 구성된 코드북을 훈련시켜 효과적인 VLAD 인코딩을 가능하게 한다.
• 모든 데이터셋에 동일한 초모수(패치 크기, 코드북 크기, PCA 차원)를 적용하여 일반화를 확보한다.

실험 결과

연구 질문

• RQ1 국소 CNN 특징의 순서 없는 풀링이 이동, 회전, 척도 변화와 같은 기하학적 변형에 대해 강건성을 향상시킬 수 있는가?
• RQ2 국소 특징의 다중 척도 집합이 이미지 분류 및 검색 작업에서 전역 CNN 활성화보다 뛰어나지 않는가?
• RQ3 일반화된, 미세조정이 없는 특징 표현이 다양한 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 MOP-CNN의 성능이 검색 작업에서 기존의 압축 기술자인 FV나 VLAD보다 어떻게 비교되는가?

주요 결과

• MOP-CNN는 INRIA Holidays 검색 데이터셋에서 78.82% mAP를 달성하여 전역 CNN 활성화를 뛰어넘고 최신 기준 방법과도 경쟁 가능한 성능을 보였다.
• PCA와 화이트닝을 적용한 MOP-CNN는 기술자 표현을 2048차원으로 압축하면서도 Holidays에서 80.18% mAP를 달성하여 높은 효율성과 성능을 동시에 확보했다.
• SUN397 데이터셋에서 MOP-CNN는 미세조정 없이도 78.42%의 top-1 정확도를 기록하여 새로운 최신 기준 성능을 수립했다.
• MIT Indoor Scenes에서 MOP-CNN는 최대 풀링 변형을 사용해 76.23%의 정확도를 달성했으며, 전역 CNN 특징보다 뚜렷하게 뛰어난 성능을 보였다.
• 레벨 1(전역)과 레벨 3(64×64 패치)의 조합은 Holidays에서 78.92% mAP를 기록하여 세밀한 척도 국소 특징의 중요성을 입증했다.
• 실험 분석을 통해 전역 CNN 활성화는 기하학적 왜곡에 민감한 반면, MOP-CNN는 훨씬 더 강건한 것으로 확인되었다.