[논문 리뷰] Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval

Xinxun Xu, Hao Wang외 2명|arXiv (Cornell University)|2019. 05. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 카테고리 수준의 워드 벡터를 활용해 특징 일관성을 향상시키고 트리플릿 손실을 통해 내부 클래스 분류 가능성을 유지함으로써 제로샷 스케치 기반 이미지 검색을 위한 의미적 적대적 네트워크를 제안한다. 종단 간 모델은 스케치리와 TU-Berlin에서 기존 방법보다 각각 12% 이상, 약 3% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for retrieving natural images with free-hand sketches under zero-shot scenario. Previous works mostly focus on modeling the correspondence between images and sketches or synthesizing image features with sketch features. However, both of them ignore the large intra-class variance of sketches, thus resulting in unsatisfactory retrieval performance. In this paper, we propose a novel end-to-end semantic adversarial approach for ZS-SBIR. Specifically, we devise a semantic adversarial module to maximize the consistency between learned semantic features and category-level word vectors. Moreover, to preserve the discriminability of synthesized features within each training category, a triplet loss is employed for the generative module. Additionally, the proposed model is trained in an end-to-end strategy to exploit better semantic features suitable for ZS-SBIR. Extensive experiments conducted on two large-scale popular datasets demonstrate that our proposed approach remarkably outperforms state-of-the-art approaches by more than 12\% on Sketchy dataset and about 3\% on TU-Berlin dataset in the retrieval.

연구 동기 및 목표

• 자연스럽게 그린 스케치에서 발생하는 큰 내부 클래스 변동성이 제로샷 스케치 기반 이미지 검색의 성능을 제한하는 문제를 해결한다.
• 카테고리 수준의 워드 벡터를 활용해 스케치와 이미지 특징 간의 의미적 정렬을 향상시킨다.
• 학습된 카테고리 내에서 생성된 특징의 분류 가능성을 유지한다.
• 의미 일관성과 특징 분류 가능성을 동시에 최적화하는 종단 간 학습 가능한 프레임워크를 개발한다.
• 대규모 벤치마크 데이터셋에서 뛰어난 제로샷 검색 성능을 달성한다.

제안 방법

• 학습된 의미 특징과 카테고리 수준의 워드 벡터 간 일관성을 극대화하는 의미적 적대적 모듈을 도입한다.
• 동일한 학습 카테고리 내에서 생성된 특징의 분류 가능성을 유지하기 위해 생성 모듈 내에서 트리플릿 손실을 활용한다.
• 의미 정렬과 특징 분류 가능성을 동시에 최적화하기 위해 전체 모델을 종단 간으로 학습한다.
• 딥 네트워크를 사용해 스케치와 이미지를 공통의 의미 공간으로 매핑함으로써 의미 일관성을 강제한다.
• 워드 벡터(예: Word2Vec 또는 GloVe)를 사용해 특징을 의미 카테고리와 정렬하는 데로 지도를 제공한다.
• 의미 일반화와 내부 클래스 응집도를 균형 잡기 위해 적대적 학습과 트리플릿 손실을 결합한다.

실험 결과

연구 질문

• RQ1 의미적 적대적 학습은 스케치 특징와 의미 카테고리 표현 간의 정렬을 향상시킬 수 있는가?
• RQ2 생성 모듈에 트리플릿 손실을 통합하면 생성된 특징의 내부 클래스 응집도가 향상되는가?
• RQ3 전체 모델의 종단 간 학습은 단계별 또는 별도의 학습 방식보다 더 나은 제로샷 검색 성능을 낼 수 있는가?
• RQ4 기존 방법과 비교해 스케치 데이터에서 큰 내부 클래스 변동성이 존재할 경우 모델의 성능은 어떻게 되는가?
• RQ5 제안된 방법은 표준 ZS-SBIR 벤치마크에서 최신 기술 수준의 접근 방식을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 방법은 최신 기술 수준의 접근 방식보다 스케치리 데이터셋에서 12% 이상의 향상을 달성한다.
• TU-Berlin 데이터셋에서는 기존 방법보다 약 3% 향상된 검색 성능을 보였다.
• 의미적 적대적 모듈은 카테고리 수준의 워드 벡터와의 특징 일관성을 효과적으로 향상시켜 크로스모달 정렬을 개선했다.
• 트리플릿 손실 구성 요소는 특징 생성 과정에서 각 학습 카테고리 내에서 분류 가능성을 효과적으로 유지했다.
• 종단 간 학습은 의미 일관성과 특징 분류 가능성을 동시에 더 잘 최적화할 수 있게 해 뛰어난 검색 정확도를 달성했다.
• 높은 내부 클래스 변동성이 있는 스케치 데이터 조건에서도 모델은 강력한 일반화 성능을 보였다.