[논문 리뷰] A Zero-Shot Framework for Sketch-based Image Retrieval

Sasi Kiran Yelamarthi, Shiva Krishna Reddy외 2명|arXiv (Cornell University)|2018. 07. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 5인용 수 9

한 줄 요약

이 논문은 기존 SBIR 모델이 클래스 기반 매핑을 학습하는 데에 치중되어 있어 형태 기반 정렬이 이루어지지 않는 한계를 해결하기 위해 제로샷 스케치 기반 이미지 검색(ZS-SBIR) 프레임워크를 제안한다. 테스트 시에 미리 보지 못한 클래스를 포함하는 Sketchy 데이터셋을 활용한 벤치마크를 도입하고, 조건부 변동 자동에코더(CVAE)와 조건부 적대적 자동에코더(CAAE)를 활용하여 생성적 스케치-이미지 번역을 수행함으로써, 저자들은 생성 모델이 제로샷 일반화에서 분류 기반 기준보다 유의미하게 뛰어난 성능을 보임을 입증한다. CVAE를 사용할 경우 정밀도가 0.333에 도달한다.

ABSTRACT

Sketch-based image retrieval (SBIR) is the task of retrieving images from a natural image database that correspond to a given hand-drawn sketch. Ideally, an SBIR model should learn to associate components in the sketch (say, feet, tail, etc.) with the corresponding components in the image having similar shape characteristics. However, current evaluation methods simply focus only on coarse-grained evaluation where the focus is on retrieving images which belong to the same class as the sketch but not necessarily having the same shape characteristics as in the sketch. As a result, existing methods simply learn to associate sketches with classes seen during training and hence fail to generalize to unseen classes. In this paper, we propose a new benchmark for zero-shot SBIR where the model is evaluated in novel classes that are not seen during training. We show through extensive experiments that existing models for SBIR that are trained in a discriminative setting learn only class specific mappings and fail to generalize to the proposed zero-shot setting. To circumvent this, we propose a generative approach for the SBIR task by proposing deep conditional generative models that take the sketch as an input and fill the missing information stochastically. Experiments on this new benchmark created from the "Sketchy" dataset, which is a large-scale database of sketch-photo pairs demonstrate that the performance of these generative models is significantly better than several state-of-the-art approaches in the proposed zero-shot framework of the coarse-grained SBIR task.

연구 동기 및 목표

• 현재 SBIR 평가 방식의 결함을 해결하기 위해, 굵은 단위의 클래스 기반 검색 메트릭스로 인해 클래스 특화 학습을 유도하는 문제를 해결한다.
• 훈련 중에 볼 수 없었던 새로운 클래스를 테스트하는 현실적인 제로샷 설정을 제안함으로써, 클래스 레이블을 초월한 일반화를 장려한다.
• 제로샷 평가를 가능하게 하기 위해 Sketchy 데이터셋을 신중하게 분할하여 새로운 벤치마크를 개발한다.
• 생성 모델이 스케치와 이미지 간에 의미 있는 형태 기반 정렬을 학습할 수 있음을 보여주며, 제로샷 일반화를 향상시킨다.
• 조건부 생성 모델(CVAE, CAAE)이 제안된 제로샷 설정에서 최신 기술의 분류 기반 SBIR 모델을 능가함을 보여준다.

제안 방법

• Sketchy 데이터셋을 본문 및 미리보지 않은 클래스로 분할하여 제로샷 SBIR 벤치마크를 제안함으로써, 훈련 및 테스트 클래스 간에 겹침이 없도록 보장한다.
• 조건부 변동 자동에코더(CVAE)와 조건부 적대적 자동에코더(CAAE)를 변형하여 잠재 공간에서 스케치 입력으로부터 이미지 특징을 생성하도록 적용한다.
• 재구성 손실과 적대적 훈련을 사용하여 스케치에서 현실적이고 다양한 이미지 생성을 유도한다.
• 생성된 이미지 특징을 사용하여 데이터베이스에서 이미지를 검색하고, 평균 정밀도@k(mP@k)를 통해 성능을 평가한다.
• 동일한 생성 프레임워크를 제로샷 이미지 분류 작업에 적용하여 더 넓은 적용 가능성을 입증한다.
• 편향이 생기거나 노동 집약적인 애너테이션을 피하기 위해 자동화된, 인간을 포함하지 않는 평가 메트릭스를 사용한다.

실험 결과

연구 질문

• RQ1 기존의 SBIR 모델은 제로샷 설정에서 볼 수 없는 클래스로 평가될 경우 일반화 성능이 떨어지는가?
• RQ2 SBIR에 생성적 접근 방식이 분류 기반 모델보다 더 나은 제로샷 일반화 성능을 보이는가?
• RQ3 조건부 생성 모델은 훈련 중에 동일한 클래스를 보지 못한 상태에서도 스케치와 이미지 간에 의미 있는 형태 기반 정렬을 학습할 수 있는가?
• RQ4 재구성 손실과 적대적 훈련은 제로샷 설정에서 생성적 SBIR 모델의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 스케치 기반 검색을 초월한 다른 제로샷 학습 과제로 확장될 수 있는가?

주요 결과

• 분류 기반 설정에서 훈련된 기존 SBIR 모델은 제로샷 설정에서 성능이 열악하며, 직접 회귀 방식의 경우 정밀도가 0.066로 급격히 떨어져 강한 클래스 특화 학습 경향을 보인다.
• 제안된 CVAE 모델은 ZS-SBIR 벤치마크에서 평균 정밀도 0.333을 달성하여 이전의 최고 성능 모델들을 모두 능가한다.
• CAAE 모델은 정밀도 0.260을 기록하여, 적대적 훈련을 통한 생성 모델이 효과적임을 보여주지만 CVAE보다는 안정성이 떨어진다.
• CVAE 모델은 더 매끄러운 학습 수렴을 보이며, 재구성 손실을 사용할 경우 정밀도가 3% 향상되어 훈련 안정성을 입증한다.
• 정성적 결과에서는 검색된 이미지가 스케치 윤곽과 유사하게 나타나며, 잘못된 검색 결과의 경우도 타당한 형태 유사성을 보이므로 효과적인 정렬 학습이 이루어졌음을 시사한다.
• t-SNE를 통한 특징 시각화 결과, 생성된 특징이 실제 이미지 특징과 유사하며 분포의 다중 모드를 잘 포괄하고 있음을 확인하여 효과적인 잠재 공간 모델링을 입증한다.