[논문 리뷰] Scalable domain adaptation of convolutional neural networks

Adrian Popescu, Etienne Gadeski외 1명|arXiv (Cornell University)|2015. 12. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 수동 레이블링 없이, Flickr에서 수집한 노이즈가 있는 웹 이미지를 사용하여 컨volutional 신경망(CNN)의 도메인 적응을 위한 확장성 있고 완전 자동화된 방법을 제안한다. 약한 지도 학습 기반의 재정렬 및 이러한 이미지에서부터 CNN을 새로 학습시킴으로써, 옥스포드5k와 인리아 홀리데이스와 같은 관광 중심 데이터셋에서 최신 기술 수준의 검색 성능을 달성하였다. 이는 일반적인 ImageNet 모델과 수동 감독이 필요한 이전의 CNN 방법보다도 뛰어난 성능을 보였다.

ABSTRACT

Convolutional neural networks (CNNs) tend to become a standard approach to solve a wide array of computer vision problems. Besides important theoretical and practical advances in their design, their success is built on the existence of manually labeled visual resources, such as ImageNet. The creation of such datasets is cumbersome and here we focus on alternatives to manual labeling. We hypothesize that new resources are of uttermost importance in domains which are not or weakly covered by ImageNet, such as tourism photographs. We first collect noisy Flickr images for tourist points of interest and apply automatic or weakly-supervised reranking techniques to reduce noise. Then, we learn domain adapted models with a standard CNN architecture and compare them to a generic model obtained from ImageNet. Experimental validation is conducted with publicly available datasets, including Oxford5k, INRIA Holidays and Div150Cred. Results show that low-cost domain adaptation improves results compared to the use of generic models but also compared to strong non-CNN baselines such as triangulation embedding.

연구 동기 및 목표

• 이미지넷의 커버리지가 제한된 관광과 같은 도메인에서 도메인 특화 시각 자원의 부족 문제를 해결하기 위해.
• 도메인 특화 CNN 학습을 위한 수동 데이터셋 구축의 대안으로서 확장성 있고 저비용인 방법을 개발하기 위해.
• 수동 애너테이션 없이도 웹 기반의 노이즈가 있는 이미지에서 효과적으로 CNN을 학습시킬 수 있는지 조사하기 위해.
• 검색 작업에서 자동으로 적응된 CNN의 성능을 일반적인 모델과 강력한 비-CNN 기반 모델과 비교하기 위해.
• 데이터 품질, 다양성 및 특징 엔지니어링의 영향이 도메인 적응 CNN 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 키워드 기반 쿼리를 사용하여 관광 명소(POI)에 대한 대규모 노이즈가 있는 플리커 이미지를 자동으로 수집한다.
• 노이즈를 줄이고 훈련 세트의 이미지 품질을 향상시키기 위해 약한 지도 학습 기반 재정렬 기법을 적용한다.
• 재정렬된 도메인 특화 이미지 컬렉션에서 표준 CNN 아키텍처를 새로 학습시킨다.
• 정확도 손실이 크지 않은 상태에서 확장성을 향상시키기 위해 PCA 기반 차원 축소를 사용하여 CNN 특징를 압축한다.
• 특징의 강건성과 검색 성능을 향상시키기 위해 공간적 검색과 데이터 증강을 적용한다.
• 상위 랭크된 결과를 사용하여 쿼리 확장을 구현함으로써 검색 쿼리를 개선하고 mAP를 향상시킨다.

실험 결과

연구 질문

• RQ1 특히 자원이 적은 도메인인 관광 분야에서, 수동 레이블링 없이 대규모 노이즈가 있는 웹 이미지에서 CNN을 효과적으로 학습시킬 수 있는가?
• RQ2 이미지 검색 작업에서 도메인 적응 CNN의 성능은 일반적인 ImageNet 미리 학습된 모델과 비-CNN 기반 모델과 비교해 어떻게 되는가?
• RQ3 fine-tuning 시에, 노이즈가 있는 훈련 세트에서 데이터의 다양성이 얼마나 노이즈를 상쇄할 수 있는가?
• RQ4 특징 압축 및 튜닝 기법(예: PCA, 공간적 검색)이 검색 성능 및 확장성에 어떤 영향을 미치는가?
• RQ5 약한 지도 학습 기반 재정렬은 원시적인 노이즈가 많은 컬렉션에 비해 모델 성능을 향상시키는가?

주요 결과

• PCA 압축 특징(256차원)을 사용할 때, 옥스포드5k에서 mAP 69.2%와 인리아 홀리데이스에서 mAP 78.5%를 달성하여 이전의 CNN 기반 방법을 초월하였다.
• 노이즈가 있는 데이터일지라도, 재정렬된 플리커 이미지에서 새로 학습한 CNN은 일반적인 ImageNet 모델에 의존하는 것보다 더 좋은 성능을 보였다.
• 256차원 PCA 압축에서 최고의 성능을 기록하였으며, 이는 특징 압축이 정확도 손실 없이 확장성을 향상시킨다는 것을 보여주었다.
• 공간적 검색과 데이터 증강을 통한 특징 튜닝은 옥스포드5k와 홀리데이스에서 mAP를 10% 이상 향상시켰으며, 사전 처리의 효과를 확인하였다.
• 쿼리 확장은 옥스포드5k에서 mAP를 81.5%까지 향상시켰지만, 홀리데이스와 Div150Cred에서는 효과가 없었으며, 이는 도메인에 따라 성능 향상의 효과가 다름을 시사한다.
• 결과는 데이터의 다양성이 노이즈를 상쇄할 수 있음을 시사하며, 새로운 도메인에서 효과적인 CNN 학습을 위해 수동 애너테이션이 반드시 필요하지 않다는 것을 암시한다.