[논문 리뷰] CNN Features off-the-shelf: an Astounding Baseline for Recognition

Ali Sharif Razavian, Hossein Azizpour외 2명|arXiv (Cornell University)|2014. 03. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 679

한 줄 요약

이 논문은 사전 훈련된 컨볼루션 신경망(CNN) 특징, 특히 OverFeat 모델에서 추출한 오프더쇼프(off-the-shelf) 특징—정밀 조정(fine-tuning) 없이도—다양한 시각 인식 작업에 놀랍도록 강력한 베이스라인으로 기능한다는 것을 보여준다. 단순한 데이터 증강 기법을 사용한 4096차원 특징과 선형 SVM 또는 L2 거리만으로도 여러 벤치마크 데이터셋에서 객체 분류, 장면 인식, 미세한 차이 인식, 속성 검출, 이미지 검색 등 다양한 작업에서 최신 기술(SOTA) 수준이거나 경쟁력 있는 성능을 달성한다.

ABSTRACT

Recent results indicate that the generic descriptors extracted from the convolutional neural networks are very powerful. This paper adds to the mounting evidence that this is indeed the case. We report on a series of experiments conducted for different recognition tasks using the publicly available code and model of the \overfeat network which was trained to perform object classification on ILSVRC13. We use features extracted from the \overfeat network as a generic image representation to tackle the diverse range of recognition tasks of object image classification, scene recognition, fine grained recognition, attribute detection and image retrieval applied to a diverse set of datasets. We selected these tasks and datasets as they gradually move further away from the original task and data the \overfeat network was trained to solve. Astonishingly, we report consistent superior results compared to the highly tuned state-of-the-art systems in all the visual classification tasks on various datasets. For instance retrieval it consistently outperforms low memory footprint methods except for sculptures dataset. The results are achieved using a linear SVM classifier (or $L2$ distance in case of retrieval) applied to a feature representation of size 4096 extracted from a layer in the net. The representations are further modified using simple augmentation techniques e.g. jittering. The results strongly suggest that features obtained from deep learning with convolutional nets should be the primary candidate in most visual recognition tasks.

연구 동기 및 목표

• 사용 가능한 유일한 공개 모델(OverFeat)에서 사전 훈련된 CNN 특징의 일반화 능력을 다양한 시각 인식 작업에 대해 평가하는 것.
• 대규모 ImageNet에서 훈련된 네트워크에서 유도한 일반적인, 정밀 조정되지 않은 특징이 고도로 특화된 최신 기술 시스템을 초월할 수 있는지 확인하는 것.
• 아키텍처 수정 없이도 간단한 특징 처리 및 데이터 증강 기법이 성능 향상에 얼마나 효과적인지 조사하는 것.
• 딥 레이어 특징이 시각 인식 파ip라인에서 복잡한 작업별 특징 설계를 대체하는 데 있어 기본 베이스라인으로서의 자리를 잡아야 하는지 여부를 규명하는 것.

제안 방법

• 사전 훈련된 OverFeat 네트워크의 최종 완전 연결층에서 4096차원 CNN 특징를 추출하였다.
• 분류 작업에는 선형 SVM를, 이미지 검색에는 L2 거리를 사용하였으며, 네트워크에서 직접 특징를 사용하고 정밀 조정을 하지 않았다.
• 저항력과 성능 향상을 위해 잡음 주입(jittering, 무작위 컷, 색상 왜곡, 수평 뒤집기) 등의 데이터 증강 기법을 적용하였다.
• 검색 작업에서는 다중 척도 패치 추출(최대 4단계)과 공간 검색을 사용하였으며, 쿼리 및 기준 패치 간 최소 L2 거리를 계산하였다.
• 특징 처리 파이프라인을 적용: L2 정규화 → 주성분 분석(PCA, 500D로 감소) → 화이트닝 → 재정규화(L2) → 부호 있는 거듭제곱 변환(거듭제곱 2).
• 모든 데이터셋과 작업에 동일한 특징 처리 및 분류기 설정을 사용하여 비교의 일관성과 공정성을 확보하였다.

실험 결과

연구 질문

• RQ1 OverFeat와 같은 사전 훈련된 네트워크에서 유도한 오프더쇼프 CNN 특징가 다양한 시각 인식 작업에서 정밀하게 튜닝된 작업별 최신 기술 시스템을 초월할 수 있는가?
• RQ2 정밀 조정 없이 일반적인 CNN 특징를 사용할 때, 단순한 데이터 증강 기법이 성능 향상에 얼마나 효과적인가?
• RQ3 크기, 카테고리, 복잡도가 상당히 다른 작업들(예: 객체 분류에서 미세한 차이 인식까지)에 대해 단일 사전 훈련된 CNN 표현이 얼마나 일반화되는가?
• RQ4 특히 낮은 메모리 제약 조건에서, 전통적인 수작업 특징 기반 기법(SIFT, VLAD 등)보다 CNN 특징가 이미지 검색 성능을 뛰어나게 할 수 있는가?
• RQ5 속성 검출을 위한 명시적 훈련 없이도 CNN 특징가 의미적 속성 및 부분 수준의 정보를 인코딩할 수 있는가?

주요 결과

• OverFeat에서 유도한 오프더쇼프 CNN 특징는 객체 분류, 장면 인식, 미세한 차이 인식, 속성 검출, 이미지 검색 등 테스트된 모든 작업에서 뛰어난 또는 경쟁력 있는 성능을 달성하였다.
• Oxford5k 데이터셋에서, 이 방법은 단지 4–15KB의 메모리 사용량으로 68.0%의 검색 정확도를 기록하였으며, BoW(36.4%) 및 IFV(41.8%)와 같은 저메모리 방법들을 뛰어넘었다.
• Paris6k 데이터셋에서는 79.5%의 정확도를 기록하였으며, VLAD(55.5%) 및 IFV(41.8%)를 크게 앞서며 다양한 이미지 척도와 시점에 대한 강력한 일반화 능력을 입증하였다.
• Holidays 데이터셋에서는 84.3%의 정확도를 기록하였으며, ASMK+MA의 최고 보고된 결과(81.0%)와 CNN+BOW의 80.2%를 초월하였다.
• UKBench 데이터셋에서는 91.1%의 정확도를 기록하였으며, CVLAD의 89.3%와 IFV의 83.8%를 뛰어넘어 저메모리 제약 조건 하에서도 일관된 우수성을 입증하였다.
• 미세한 차이 인식 작업에서는 단순한 데이터 증강과 선형 SVM를 사용한 CNN 특징 기반 방법이 최고 성능을 기록한 전문화된 방법들을 능가하였으며, 최소한의 적응만으로도 일반적인 특징의 잠재력을 입증하였다.