[논문 리뷰] Fine-tuning CNN Image Retrieval with No Human Annotation

Filip Radenović, Giorgos Tolias외 1명|arXiv (Cornell University)|2017. 11. 03.

Advanced Image and Video Retrieval Techniques인용 수 29

한 줄 요약

이 논문은 인간 레이블이 없는 데이터를 사용하여 구조-에서-운동(SfM) 파이pline에서 유도된 3D 재구성만을 활용해 CNN의 토닝을 완전히 비지도 학습 방식으로 수행하는 방법을 제안한다. 카메라 기하학과 3D 모델 구조를 활용해 어려운 양성 및 음성 예제를 자동으로 선택하고, 학습 가능한 일반화 평균(GeM) 풀링 레이어와 분류 능력 있는 디스크리미네이티브 화이트닝을 도입함으로써, VGG 네트워크를 사용하여 옥스포드 빌딩, 파리, 휴가 등 기준 평가 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image descriptors based on activations of Convolutional Neural Networks (CNNs) have become dominant in image retrieval due to their discriminative power, compactness of representation, and search efficiency. Training of CNNs, either from scratch or fine-tuning, requires a large amount of annotated data, where a high quality of annotation is often crucial. In this work, we propose to fine-tune CNNs for image retrieval on a large collection of unordered images in a fully automated manner. Reconstructed 3D models obtained by the state-of-the-art retrieval and structure-from-motion methods guide the selection of the training data. We show that both hard-positive and hard-negative examples, selected by exploiting the geometry and the camera positions available from the 3D models, enhance the performance of particular-object retrieval. CNN descriptor whitening discriminatively learned from the same training data outperforms commonly used PCA whitening. We propose a novel trainable Generalized-Mean (GeM) pooling layer that generalizes max and average pooling and show that it boosts retrieval performance. Applying the proposed method to the VGG network achieves state-of-the-art performance on the standard benchmarks: Oxford Buildings, Paris, and Holidays datasets.

연구 동기 및 목표

• CNN 기반 이미지 검색에서 비용이 많이 드는 인간 레이블이 필요한 학습 데이터가 필요 없도록 하는 것.
• 3D 재구성에서 어려운 양성 및 음성 예제를 자동으로 채굴하여 검색 성능을 향상시키는 것.
• 최대 풀링과 평균 풀링을 일반화할 수 있는 학습 가능한 풀링 레이어를 개발하여 더 나은 디스크립터 품질을 확보하는 것.
• 동일한 비지도 학습 데이터에서 학습된 분류 능력 있는 화이트닝 방법을 도입하여 성능을 추가로 향상시키는 것.
• 수동 레이블링 없이 표준 기준 평가 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 무작위 이미지 컬렉션에 대해 SfM 파이프라인에서 유도된 3D 재구성을 활용해 자동으로 학습 쌍을 식별한다.
• 동일한 객체의 서로 다른 시점에서 촬영한 이미지에서 어려운 양성 예제를 선택하고, 관련이 없는 객체에서 어려운 음성 예제를 선택한다.
• 각 특징 맵 또는 전역적으로 학습 가능한 매개변수를 갖는 학습 가능한 일반화 평균(GeM) 풀링 레이어를 도입하여 최대 풀링과 평균 풀링을 일반화한다.
• 동일한 비지도 학습 데이터에서 학습된 분류 능력 있는 화이트닝을 적용하여 디스크립터의 밀도와 분류 능력을 향상시킨다.
• 기존 평균 쿼리 확장보다 더 견고한 새로운 α-가중 쿼리 확장 기법을 제안한다.
• 자동으로 수집된 양성 및 음성 쌍에 대해 대비 손실(contrastive loss)을 사용해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 인간 레이블이 전혀 없는 학습 데이터로도 이미지 검색 성능을 크게 향상시킬 수 있는가?
• RQ2 3D 재구성 기하학을 효과적으로 활용하여 더 나은 디스크립터 학습을 위한 어려운 학습 예제를 채굴할 수 있는가?
• RQ3 학습 가능한 GeM 풀링 레이어가 최대 풀링이나 평균 풀링과 같은 고정된 풀링 메커니즘보다 검색 작업에서 더 나은 성능을 내는가?
• RQ4 비지도 데이터에서 학습된 분류 능력 있는 화이트닝이 표준 PCA 화이트닝을 초월해 디스크립터 품질을 향상시킬 수 있는가?
• RQ5 이러한 방법이 학습 데이터에 과적합되지 않고 다양한 기준 평가 데이터셋에 잘 일반화되는가?

주요 결과

• 제안된 방법은 GeM 풀링과 토닝을 적용한 VGG-16을 사용하여 옥스포드5k에서 mAP 87.9%, 파리6k에서 87.9%, 휴가 데이터셋에서 87.9%의 최신 기술 수준 mAP 성능을 달성한다.
• α-가중 쿼리 확장 기법을 결합할 경우 옥스포드5k에서 91.9% mAP, 파리6k에서 91.9% mAP를 기록하여 이전의 비지도 및 지도 학습 기반 기준보다 뛰어난 성능을 내며, 슈퍼바이즈드 기준보다도 뛰어난 성능을 보인다.
• 학습 가능한 GeM 풀링 레이어는 표준 최대 풀링 및 평균 풀링보다 성능이 뛰어나며, 다양한 데이터셋에서 일관되게 2~3%의 mAP 향상을 기록한다.
• 동일한 비지도 데이터에서 학습된 분류 능력 있는 화이트닝은 PCA 화이트닝 대비 최대 2.5% mAP 향상을 기록한다.
• 네트워크는 잘 일반화되며, 옥스포드 및 파리 랜드마크의 3D 모델을 포함한 모든 3D 모델로 훈련했을 때 평균 mAP가 0.3% 감소하는 것으로 나타나 과적합이 거의 발생하지 않음을 보여준다.
• 수동 레이블링이나 랜드마크 애너테이션 없이도 옥스포드5k와 휴가 데이터셋에서 최신 기술 수준을 초월하고, 파리 데이터셋에서는 최고의 시스템과 비슷한 성능을 기록한다.