[논문 리뷰] An Analysis of Object Embeddings for Image Retrieval.

Bor-Chun Chen, Larry S. Davis외 1명|arXiv (Cornell University)|2019. 05. 28.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 콘텐츠 기반 이미지 검색을 위한 사전 훈련된 이미지 분류 및 객체 검출 모델로부터의 객체 임베딩을 분석한다. 비록 더 풍부한 애너테이션을 제공하지만, 객체 검출 모델은 분류 모델에 비해 열열 임베딩 성능이 열 劣하다. 그러나 하드 어텐션 메커니즘으로 사용할 경우 검색 성능 향상에 기여한다. 저자들은 객체 검출 프레임워크 내에서 분류 가능한 임베딩을 학습하기 위한 가이드된 스터디-트레이너 훈련 방법을 제안하며, 강력한 경험적 성과를 달성한다.

ABSTRACT

We present an analysis of embeddings extracted from different pre-trained models for content-based image retrieval. Specifically, we study embeddings from image classification and object detection models. We discover that even with additional human annotations such as bounding boxes and segmentation masks, the discriminative power of the embeddings based on modern object detection models is significantly worse than their classification counterparts for the retrieval task. At the same time, our analysis also unearths that object detection model can help retrieval task by acting as a hard attention module for extracting object embeddings that focus on salient region from the convolutional feature map. In order to efficiently extract object embeddings, we introduce a simple guided student-teacher training paradigm for learning discriminative embeddings within the object detection framework. We support our findings with strong experimental results.

연구 동기 및 목표

• 사전 훈련된 객체 검출 모델의 객체 임베딩이 콘텐츠 기반 이미지 검색에서 얼마나 효과적인지 평가하기.
• 객체 검출 모델이 더 풍부한 애너테이션을 제공함에도 불구하고, 왜 분류 모델에 비해 검색 작업에서 열 劣한 성능을 보이는지 이해하기.
• 객체 검출 모델이 주목할 만한 영역에 집중하기 위한 어텐션 메커니즘으로 활용될 수 있는지 탐색하기.
• 객체 검출 프레임워크 내에서 임베딩의 분류 능력을 향상시키는 훈련 파라다임 개발하기.
• 표준 검색 벤치마크에서 강력한 베이스라인과의 비교를 통해 제안된 방법의 경험적 타당성 검증하기.

제안 방법

• 콘텐츠 기반 이미지 검색 작업에서 비교를 위해 사전 훈련된 이미지 분류 및 객체 검출 모델로부터 임베딩 추출하기.
• 객체 검출 모델을 하드 어텐션 모듈로 사용하여 특징 맵에서 주목할 만한 영역을 국소화하고 추출하기.
• 학생 네트워크가 교사의 특징 맵으로부터 분류 가능한 임베딩을 학습하는 가이드된 스터디-트레이너 디스틸레이션 프레임워크 설계하기.
• 대조 손실을 사용하여 학생 네트워크를 훈련시켜 양성 쌍 간 유사도를 최대화하고 부정 쌍 간 유사도를 최소화하기.
• 검출 파이프라인 내에서 엔드 투 엔드로 적용하여 국소화 및 임베딩 품질 유지하기.
• 전체 검출 모델을 재훈련하지 않고도 검색 전용 손실로 학생 모델을 미세조정하여 분류 능력 향상시키기.

실험 결과

연구 질문

• RQ1 객체 검출 모델에서 유도된 임베딩은 분류 모델에서 유도된 임베딩과 비교해 검색 성능에서 어떻게 다를까?
• RQ2 객체 검출 모델은 바운딩 박스와 세그멘테이션 마스크를 제공하지만, 왜 검색 작업에서 더 약한 임베딩을 생성하는가?
• RQ3 객체 검출 모델을 주목할 만한 영역의 국소화 및 임베딩 품질 향상에 어텐션 메커니즘으로 활용할 수 있는가?
• RQ4 어떤 훈련 전략이 객체 검출 프레임워크 내에서 효과적인 분류 가능한 임베딩 학습을 가능하게 하는가?
• RQ5 가이드된 디스틸레이션 접근법이 객체 검출 기반 임베딩을 사용할 때 검색 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 객체 검출 모델은 바운딩 박스와 세그멘테이션 마스크에 액세스할 수 있음에도 불구하고, 분류 모델에 비해 이미지 검색에서 훨씬 열 劣한 임베딩을 생성한다.
• 전반적인 성능가 약한 편이지만, 객체 검출 모델은 특징 맵 내 주목할 만한 영역에 집중하기 위한 효과적인 하드 어텐션 메커니즘으로 기능할 수 있다.
• 제안된 가이드된 스터디-트레이너 디스틸레이션 프레임워크는 객체 검출 프레임워크 내에서 임베딩 품질을 성공적으로 향상시켰다.
• 이 방법은 기존의 검출 기반 임베딩보다 강력한 검색 성능을 달성했으며, 표준 벤치마크에서 분류 기반 베이스라인과 견줄 만큼이거나 이를 초월했다.
• 아블레이션 스터디는 디스틸레이션 과정이 분류 능력 향상과 검색 정확도 향상에 필수적임을 확인했다.
• 결과는 검출 헤드를 통한 국소화 인식 특징 추출이 적절한 임베딩 훈련과 결합될 경우 효과적으로 활용될 수 있음을 보여주었다.