[논문 리뷰] Part-based Weighting Aggregation of Deep Convolutional Features for Image

Jian Xu, Cunzhao Shi외 3명|arXiv (Cornell University)|2017. 05. 03.

Advanced Image and Video Retrieval Techniques인용 수 2

한 줄 요약

이 논문은 깊이 학습된 컨볼루션 레이어에서 유도된 분류적 필터를 부분 검출기로 사용하여 이미지 검색을 위한 부분 기반 가중치 집합 방법(PWA)을 제안한다. 비지도 학습 방식으로 핵심 부분 검출기를 선택하여 확률적 제안을 생성함으로써, 지역적 특징의 가중치 집합을 통해 전역 특징 표현을 향상시켜, 감독 없이도 네 가지 표준 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we propose a simple but effective semantic part-based weighting aggregation (PWA) for image retrieval. The proposed PWA utilizes the discriminative filters of deep convolutional layers as part detectors. Moreover, we propose the effective unsupervised strategy to select some part detectors to generate the probabilistic proposals, which highlight certain discriminative parts of objects and suppress the noise of background. The final global PWA representation could then be acquired by aggregating the regional representations weighted by the selected probabilistic proposals corresponding to various semantic content. We conduct comprehensive experiments on four standard datasets and show that our unsupervised PWA outperforms the state-of-the-art unsupervised and supervised aggregation methods. Code is available at this https URL.

연구 동기 및 목표

• 딥 컨볼루션 특징 내의 의미적 부분을 활용하여 이미지 검색 성능을 향상시키기 위해.
• 객체 부분을 강조하고 배경 노이즈를 억제하는 분류적 부분 검출기를 비지도 학습 전략으로 선택하기 위해.
• 의미적 부분의 확률적 제안 기반으로 지역적 특징을 가중치 조합하는 전역 특징 집합 방법을 설계하기 위해.
• 감독 주석이 필요 없이 표준 이미지 검색 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 딥 컨볼루션 레이어에서 유도된 분류적 필터를 부분 검출기로 사용하여 이미지 내 의미적 부분을 국소화한다.
• 비지도 전략을 적용하여 주목할 만한 객체 영역을 제안하는 확률적 제안을 생성하는 부분 검출기의 부분집합을 선택한다.
• 선택된 확률적 제안에 기반하여 지역 특징을 가중치 조합함으로써 전역 이미지 표현을 생성한다.
• 집합 과정에서 분류적 부분을 강조하고 노이즈 또는 배경 영역을 억제하는 가중치 메커니즘을 활용한다.
• 다양한 컨볼루션 레이어의 특징 맵을 사용하여 계층적 의미적 부분을 캡처함으로써 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 방식으로 부분 검출기를 선택하면 전역 이미지 표현의 질 향상에 기여할 수 있는가?
• RQ2 부분 기반 가중치 집합 방법은 기존의 비지도 및 지도 학습 기반 집합 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 제안된 PWA 방법은 다양한 데이터셋에서 검색 성능 향상에 얼마나 기여하는가?
• RQ4 감독 없이도 깊이 신경망에서 유도된 분류적 필터가 효과적으로 부분 검출기로 기능할 수 있는가?

주요 결과

• 제안된 비지도 PWA 방법은 네 가지 표준 이미지 검색 데이터셋에서 최고 성능을 달성한다.
• 검색 정확도 측면에서 비지도 및 지도 학습 기반 집합 기법을 모두 능가한다.
• 선택된 부분 검출기에서 유도된 확률적 제안의 사용은 분류적 객체 부분을 효과적으로 강조하면서 배경 노이즈를 억제한다.
• 부분 수준의 주석이 필요 없이 다양한 이미지 데이터셋에 대해 강력한 일반화 성능을 보였다.