[논문 리뷰] StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval

Aneeshan Sain, Ayan Kumar Bhunia외 3명|arXiv (Cornell University)|2021. 03. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 56인용 수 10

한 줄 요약

이 논문은 메타학습된 다중모달 변동형 자동인코더를 사용하여 스케치의 내용을 공유된 의미적 특징과 사용자 고유의 스타일 요소로 분리하는 스타일에 구애받지 않는 스케치 기반 이미지 검색 프레임워크인 StyleMeUp을 제안한다. 스타일 적응형 특징 변환 레이어와 모델 무관 메타학습을 통한 분리 정규화를 도입함으로써, 재학습 없이도 새로운 사용자 스타일에 일반화할 수 있으며, 카테고리 수준 및 인스턴스 수준의 SBIR 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sketch-based image retrieval (SBIR) is a cross-modal matching problem which is typically solved by learning a joint embedding space where the semantic content shared between photo and sketch modalities are preserved. However, a fundamental challenge in SBIR has been largely ignored so far, that is, sketches are drawn by humans and considerable style variations exist amongst different users. An effective SBIR model needs to explicitly account for this style diversity, crucially, to generalise to unseen user styles. To this end, a novel style-agnostic SBIR model is proposed. Different from existing models, a cross-modal variational autoencoder (VAE) is employed to explicitly disentangle each sketch into a semantic content part shared with the corresponding photo, and a style part unique to the sketcher. Importantly, to make our model dynamically adaptable to any unseen user styles, we propose to meta-train our cross-modal VAE by adding two style-adaptive components: a set of feature transformation layers to its encoder and a regulariser to the disentangled semantic content latent code. With this meta-learning framework, our model can not only disentangle the cross-modal shared semantic content for SBIR, but can adapt the disentanglement to any unseen user style as well, making the SBIR model truly style-agnostic. Extensive experiments show that our style-agnostic model yields state-of-the-art performance for both category-level and instance-level SBIR.

연구 동기 및 목표

• 기존 모델이 일반화하지 못하는 사용자 고유의 스케치 스타일 변동이라는 핵심 과제를 해결한다.
• 현재의 SBIR 모델들이 공유된 의미적 내용에만 초점을 맞추고 모달 특화된 스케치 스타일을 忽시하는 한계를 극복한다.
• 재학습 없이도 새로운 사용자 그림 스타일에 동적으로 적응할 수 있는 프레임워크를 개발하여 진정으로 스타일에 구애받지 않는 검색을 가능하게 한다.
• 개선된 일반화를 위해 스케치 내용을 불변(공유됨) 및 변화 가능(스타일 고유) 성분으로 효과적으로 분리하는 것을 가능하게 한다.
• 스타일 다양성 하에서 카테고리 수준 및 인스턴스 수준의 스케치 기반 이미지 검색에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 스케치와 사진을 동시에 인코딩하여 분리된 잠재 표현으로 변환하는 다중모달 변동형 자동인코더(VAE)를 활용: 모달 불변 의미 코드와 모달 특화 스타일 코드.
• 에코더 레이어 간에 학습 가능한 특징 변환(FT) 레이어를 도입하여, 새로운 스케치 스타일에 대한 에코더의 동적 적응을 가능하게 한다.
• 입력 스케치에 따라 불변 의미 코드의 분리 수준을 적응적으로 조정하는 새로운 정규화 기법을 설계하여, 내용과 스타일의 견고한 분리를 확보한다.
• 모델 무관 메타학습(MAML) 프레임워크를 사용하여 에피소드 기반 학습을 수행하며, 각 에피소드에서 새로운 사용자 스타일과 객체 카테고리를 샘플링한다.
• 재구성, 번역, 트리플릿 순서 정렬 목적함수를 통합한 손실 함수를 사용하여, 다양한 모달 간의 의미 일致성을 유지하고 검색 정확도를 향상시킨다.
• 에코더에서 생성된 분리된 불변 코드를 검색용 특징 표현으로 활용함으로써, 스타일 변동에 강건한 모델을 구현한다.

Figure 1: Owing to subjective interpretation, different users sketch the same object instance (a shoe here) very differently. Without considering this style diversity, an existing SBIR model yields completely different results for different sketches. With our style-agnostic model, the same intended

실험 결과

연구 질문

• RQ1 재학습 없이도 새로운 사용자 스케치 스타일에 효과적으로 일반화할 수 있는 스케치 기반 이미지 검색 모델은 가능한가?
• RQ2 새로운 스타일에 대한 동적 적응을 가능하게 하기 위해 스케치의 내용과 스타일을 어떻게 분리 표현으로 학습할 수 있는가?
• RQ3 새로운 사용자 스타일에 대한 메타학습된 분리 과정 적응을 가능하게 하기 위해 필요한 구성 요소는 무엇인가?
• RQ4 명시적인 스케치 스타일 분리가 높은 스타일 변동성 하에서도 검색 성능을 향상시키는가?
• RQ5 제안된 프레임워크는 카테고리 수준 및 인스턴스 수준의 SBIR 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 QMUL Shoe-V2에서 36.47%의 정확도와 Sketchy (ext)에서 81.83%의 정확도를 기록하여 기존 최신 기술 수준의 방법들을 능가한다.
• QMUL Shoe-V2에서 mAP(평균 정밀도)가 0.905, Sketchy (ext)에서 0.927로 기존 베이스라인을 크게 앞서며, 유의미한 성능 향상을 보였다.
• 제거 실험 결과, 특징 변환 레이어를 제거하면 정확도가 3.19% 감소하여, 스타일에 구애받지 않는 적응을 위해 필수적임을 확인했다.
• 분리 정규화 기법을 제거하면 Shoe-V2에서 Acc@1이 3.9% 감소하여, 동적 분리 수준 제어 기능이 중요한 역할을 함을 입증했다.
• QMUL ChairV2에서 쿼리당 검색 추론 시간이 0.18ms로, 베이스라인 B-Basic-SN(0.14ms)과 유사하여 효율성을 입증했다.
• QuickDraw에서 스케치-스케치 검색 설정에서 75.81%의 정확도를 기록하여, Sketch-A-Net(68.71%)을 능가하며, 학습된 표현의 일반화 능력을 입증했다.

Figure 2: Our core model is a VAE framework that disentangles the modal variant and invariant semantics in a sketch in a cross-modal translation setting. While a regulariser network regularises parameters of the invariant component ( $\Omega_{inv}$ ), feature transformation (FT) layers aid in style-