[논문 리뷰] What Is the Best Practice for CNNs Applied to Visual Instance Retrieval?

Jiedong Hao, Jing Dong외 2명|arXiv (Cornell University)|2016. 11. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 시각적 인스턴스 검색을 위한 새로운 다중 스케일 CNN 기반 특징 표현을 제안한다. 다양한 층(예: conv5_4 및 fc6-conv)의 특징을 단순한 덧셈과 L2 정규화를 통해 통합한 후, 주성분 분석(PCA)과 화이트닝을 적용한다. 이는 네 개의 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, Oxford105k와 UKB에서 이전 방법 대비 최대 10.3%의 상대적 향상률을 기록한다. 특히, 압축된 비학습 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Previous work has shown that feature maps of deep convolutional neural networks (CNNs) can be interpreted as feature representation of a particular image region. Features aggregated from these feature maps have been exploited for image retrieval tasks and achieved state-of-the-art performances in recent years. The key to the success of such methods is the feature representation. However, the different factors that impact the effectiveness of features are still not explored thoroughly. There are much less discussion about the best combination of them. The main contribution of our paper is the thorough evaluations of the various factors that affect the discriminative ability of the features extracted from CNNs. Based on the evaluation results, we also identify the best choices for different factors and propose a new multi-scale image feature representation method to encode the image effectively. Finally, we show that the proposed method generalises well and outperforms the state-of-the-art methods on four typical datasets used for visual instance retrieval.

연구 동기 및 목표

• 낮은 데이터 환경에서 시각적 인스턴스 검색을 위한 최적의 CNN 요소 조합을 규명하는 것.
• 층 선택, 특징 융합, 다중 스케일 표현, 정규화, 차원 축소가 검색 성능에 미치는 영향을 평가하는 것.
• 후처리 또는 미세조정 없이도 효과적이고 일반화 능력이 뛰어난 압축된 특징 표현을 개발하는 것.
• 사전 학습된 CNN을 비학습 환경에서 활용할 때의 명확하고 경험 기반의 권장 사항을 제공하는 것.

제안 방법

• 사전 학습된 CNN의 conv5_4 및 fc6-conv 층에서 추출한 특징 맵을 국소 기술자로 사용한다.
• 각 스케일에서 최대 풀링과 L2 정규화를 적용한 후 스케일 간 특징을 합산하여 4단계 다중 스케일 표현을 구성한다.
• 다중 스케일 특징을 합산한 후 L2 정규화를 적용한 후, 차원 축소 및 상관관계 제거를 위해 PCA와 화이트닝을 적용한다.
• conv5_4 및 fc6-conv 특징의 유사도 점수를 가중 평균을 사용해 융합하는 층 앙상블 전략을 적용한다.
• 일반화성과 압축성을 확보하기 위해 외부 데이터셋(예: Oxford5k에 대한 Paris6k)에서 PCA 및 화이트닝 행렬을 학습한다.
• 단일 층 표현에는 512차원 특징을, 앙상블에는 1024차원 특징을 사용하며, 질의 확장이나 기하학적 재랭킹과 같은 복잡한 후처리를 적용하지 않는다.

실험 결과

연구 질문

• RQ1 예를 들어 conv5_4 또는 fc6-conv와 같은 어떤 CNN 층이 인스턴스 수준 검색에 가장 분류 능력이 뛰어난 특징을 제공하는가?
• RQ2 특징 맵의 다양한 수준에서 유도된 다중 스케일 특징을 어떻게 조합하면 검색 정확도가 향상되는가?
• RQ3 비학습 기반 CNN 기반 검색에서 공간 피라미드 풀링과 단순한 특징 합산 중 어느 것이 더 높은 성능을 낼 수 있는가?
• RQ4 L2 정규화, PCA, 화이트닝이 CNN 특징에 적용되었을 때 최종 검색 성능에 어떤 영향을 미치는가?
• RQ5 미세조정 없이도 다수의 CNN 특징을 단순한 층 앙상블으로 융합하는 것이 단일 층 표현을 능가할 수 있는가?

주요 결과

• 스케일 간 단순한 덧셈을 사용한 제안된 다중 스케일 특징 표현은 공간 피라미드 풀링과 가중 융합 방식을 능가하며, Oxford5k(전체 및 자르기)에서 각각 82.0% 및 83.3%의 mAP 성능을 기록한다.
• conv5_4 및 fc6-conv 층의 특징을 층 앙상블 방식으로 융합한 결과, Oxford5k(전체 및 자르기)에서 각각 75.6% 및 73.7%의 mAP 성능을 달성하여 이전 SOTA 대비 10.3%의 상대적 향상률을 기록한다.
• Paris6k 데이터셋에서 전체 및 자른 이미지 설정 모두에서 각각 85.7% 및 85.9%의 mAP 성능을 기록하며, 이는 이전 최고 기록을 각각 3% 이상 초월한다.
• UKB 데이터셋에서는 69.2%의 mAP 성능을 기록하여 이전 SOTA 대비 4.4%의 상대적 향상률을 보이며 강력한 일반화 능력을 입증한다.
• PCA와 화이트닝은 성능 향상에 크게 기여하며, PCA 행렬을 다른 데이터셋에서 학습한 경우에도 성능이 유지되어 강건성과 이식 가능성(이식성)을 입증한다.