[논문 리뷰] Unsupervised Part-based Weighting Aggregation of Deep Convolutional Features for Image Retrieval

Jian Xu, Cunzhao Shi외 3명|arXiv (Cornell University)|2017. 05. 03.

Advanced Image and Video Retrieval Techniques인용 수 26

한 줄 요약

이 논문은 사전 훈련된 CNN의 분류적 필터를 부분 검출기로 사용하여 '확률적 제안'—공간적으로 국한되고 의미 인식 능력을 갖춘 영역으로서 객체의 부분을 강조하는 것—을 생성함으로써 이미지 검색을 위한 비지도 부분 기반 가중치 집합 방법(PWA)을 제안한다. 이러한 제안을 사용해 지역적 특징을 가중치를 부여하고 집계함으로써, 이는 레이블이 없는 훈련 데이터를 요구하지 않으며 네 가지 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a simple but effective semantic part-based weighting aggregation (PWA) for image retrieval. The proposed PWA utilizes the discriminative filters of deep convolutional layers as part detectors. Moreover, we propose the effective unsupervised strategy to select some part detectors to generate the "probabilistic proposals", which highlight certain discriminative parts of objects and suppress the noise of background. The final global PWA representation could then be acquired by aggregating the regional representations weighted by the selected "probabilistic proposals" corresponding to various semantic content. We conduct comprehensive experiments on four standard datasets and show that our unsupervised PWA outperforms the state-of-the-art unsupervised and supervised aggregation methods. Code is available at https://github.com/XJhaoren/PWA.

연구 동기 및 목표

• 이미지 검색에서 전역 특징 집합의 한계를 해결하여 분류 가능한 객체 부분을 효과적으로 포착하는 것.
• 레이블이 있는 훈련 데이터를 요구하지 않는 비지도 전략을 개발하여 사전 훈련된 CNN에서 의미 있는 부분 검출기를 식별하는 것.
• 학습된 확률적 제안을 통해 배경 노이즈를 억제하고 의미적으로 관련 있는 객체 부분을 강조함으로써 특징 표현을 향상시키는 것.
• 레이블이 있는 훈련 데이터 수집이 비현실적인 저자원 환경에서 효과적인 이미지 검색을 가능하게 하는 것.
• 비지도 방식으로 부분 검출기를 선택하는 것이 지도 학습 기반 최신 기술 수준(SOTA) 방법과 비슷하거나 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 사전 훈련된 VGG16의 pool5 레이어에서 특징을 추출하여 채널 기반 특징 맵을 후보 부분 검출기로 사용한다.
• 특정 의미적 내용(예: 첨탑, 아치, 건물 기초 등)을 공간적 레이아웃과 함께 강조하는 정규화된 특징 맵 채널을 '확률적 제안'으로 정의한다.
• 사전 훈련된 CNN에서 의미 있는 객체 부분에 일관되게 반응하는 분류적 필터를 선택하기 위해 비지도 전략을 적용한다.
• 선택된 확률적 제안을 사용해 지역적 컨volutional 특징을 가중치를 부여하여 분류 가능한 부분을 강조하고 배경을 억제한다.
• 가중치가 부여된 지역적 표현을 집계하여 전역 PWA 임베딩을 생성하여 이미지 검색에 활용한다.
• 지도 학습 기반 방법과의 공정한 비교를 위해 비지도 IME 레이어 매핑을 사용하여 비지도 특성 유지.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 비지도 방식으로 분류적 필터를 선택하여 이미지 검색을 위한 부분 검출기를 효과적으로 생성할 수 있는가?
• RQ2 확률적 제안을 사용한 부분 기반 가중치 집합이 전역 풀링이나 전통적 집합 방식보다 검색 성능을 향상시키는가?
• RQ3 레이블이 있는 데이터로 미세조정하는 지도 학습 기반 최신 기술 수준(SOTA) 방법보다 비지도 방법이 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 방법은 분류 가능한 객체 부분 특징을 유지하면서 배경 노이즈를 얼마나 효과적으로 억제하는가?
• RQ5 특수 작업에 맞게 재학습하거나 애너테이션을 요구하지 않고도 다양한 데이터셋에 일반화되는가?

주요 결과

• 제안된 PWA 방법은 옥스포드5k에서 87.8%의 mAP를 달성하여 이전 최신 기술 수준(SOTA) 비지도 방법보다 8.3% 이상 뛰어나다.
• 파리6k에서는 94.9% mAP를 기록하여 이전 SOTA를 초월했으며, 추가 검증 단계를 갖춘 R-MAC과 유사하거나 이를 뛰어넘는 성능을 보였다.
• 512차원 표현을 사용하더라도 PWA는 최신 비지도 방법과 유사한 성능을 보이며, 파리6k에서 R-MAC에 비해 약간 낮은 성능을 보였다.
• 더 높은 차원의 특징(1024, 2048, 4096)을 사용한 PWA는 네 가지 데이터셋 전반에서 모든 기준 방법보다 일관되게 뛰어난 성능을 보였다.
• PWA+QE는 R-MAC+AML+QE를 능가하여, 비용이 많이 드는 검증 단계 없이도 뛰어난 효과를 보였다.
• 비지도 PWA 방법은 모든 데이터셋에서 최신 기술 수준의 지도 학습 기반 방법을 뛰어넘었으며, 미세조정이나 레이블이 없는 데이터 없이도 강건성과 일반화 능력을 입증했다.