[논문 리뷰] Good Practice in CNN Feature Transfer

Liang Zheng, Yali Zhao외 3명|arXiv (Cornell University)|2016. 04. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 127

한 줄 요약

이 논문은 더 큰 입력 크기, 중간 특징 풀링, 그리고 여러 CNN 계층 간 특징 융합을 사용하여 이미지 검색 및 분류를 위한 CNN 특징 전이의 성능을 향상시키는 방법을 연구한다.

ABSTRACT

The objective of this paper is the effective transfer of the Convolutional Neural Network (CNN) feature in image search and classification. Systematically, we study three facts in CNN transfer. 1) We demonstrate the advantage of using images with a properly large size as input to CNN instead of the conventionally resized one. 2) We benchmark the performance of different CNN layers improved by average/max pooling on the feature maps. Our observation suggests that the Conv5 feature yields very competitive accuracy under such pooling step. 3) We find that the simple combination of pooled features extracted across various CNN layers is effective in collecting evidences from both low and high level descriptors. Following these good practices, we are capable of improving the state of the art on a number of benchmarks to a large margin.

연구 동기 및 목표

• 사전 학습된 CNN 특징이 새로운 이미지 검색/분류 작업으로 효과적으로 전이될 수 있는지 동기 부여하고 분석한다.
• 입력 이미지 크기, 중간 계층 풀링, 다중 계층 특징 융합의 영향을 평가한다.
• 벤치마크 전반에서 전이 성능을 개선하기 위한 실용적 권고를 제시한다.

제안 방법

• 평균 풀링 또는 최대 풀링을 사용하여 CNN 계층에서 특징을 풀링해 압축 벡터를 생성한다.
• 다층의 풀링된 특징을 융합하여 다중 스케일 정보를 포착한다.
• 이미지 검색을 위해 질의에 따라 특징 가중치를 조정하는 라이트 융합 전략(Query Adaptive Fusion)을 사용한다.
• 10개의 벤치마크에서 풀링 및 크기 효과를 평가한다 (VGGNet 및 AlexNet 포함) - 3개의 검색, 7개의 분류.
• 가로세로 비율을 유지하는 스케일-1.0 대 larger-input 프로토콜로 학습/평가를 수행하고 224/227 입력과 비교한다.

실험 결과

연구 질문

• RQ1 더 큰 입력 크기를 사용하는 것이 데이터셋 간 CNN 특징 전이 성능을 향상시키나요?
• RQ2 중간 CNN 계층의 평균/최대 풀링이 전이 작업의 불변성 및 정확도를 향상시키나요?
• RQ3 다층에서 풀링된 특징을 융합하는 것이 이미지 검색과 분류에 유익한가요?
• RQ4 전이 설정에서 하단(Conv) 특징이 FC 특징과 비교하여 어떤지, 중간 수준 특징이 어떤 작업에서 유리한가요?

주요 결과

데이터셋	conv4+평균/최대 풀링	conv5+평균/최대 풀링	FC6+평균/최대 풀링	FC7+평균/최대 풀링	모든 계층
Bird	53.20	73.40	72.78	70.64	76.35
Flower	88.01	94.73	94.07	92.05	95.62
Indoor	67.81	75.67	75.32	71.40	78.42
SUN	50.71	58.88	57.76	58.31	63.71
Cal-101	80.44	91.07	92.24	89.28	92.31
Cal-256	63.86	83.29	84.20	83.82	85.99
VOC’07	67.55	81.78	82.31	82.57	83.66
Holidays	70.25	80.71	78.46	79.43	84.20
Ukbench	3.23	3.77	3.69	3.73	3.75
Oxford	38.10	60.18	62.77	57.63	71.30

• 더 큰 입력 이미지는 데이터셋 전반에서 검색 및 분류 정확도를 일관되게 향상시킨다.
• Conv5 특징의 평균 풀링(및 더 약하지만 최대 풀링)은 여러 작업에서 FC 특징보다 경쟁력 있거나 우수한 결과를 낸다.
• 다층에서 풀링된 특징의 융합은 이미지 검색과 분류 모두에서 일관된 개선을 가져온다.
• 특히 다중 태스크에서 Conv5와 풀링 접근이 FC6/FC7에 근접하며 세부 과제에서 강점.
• 다층 융합은 Holidays, Ukbench, Oxford5k에서 mAP/N-S 점수를 유의한 폭으로 개선한다(예: Holidays 질의 적응 융합 +7.49% mAP, Oxford5k +11.12%).
• 분류를 위한 7개 계층 융합은 Bird, Flower, Indoor, SUN, Caltech-101, Caltech-256, VOC’07에서 이익을 보이며(텍스트에 명시된 명시적 이득).
• 이미지 검색에서 제안 방법은 VGG로 Holidays 84.2% mAP, Oxford5k 71.3% mAP, Ukbench에서 3.75 N-S를 달성; 재정렬로 수치가 더 향상된다.