[논문 리뷰] Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval

Xinxun Xu, Muli Yang외 2명|arXiv (Cornell University)|2020. 03. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 제로샷 스케치 기반 이미지 검색(ZS-SBIR)을 위한 점진적 도메인 독립적 특징 분해(PDFD) 네트워크를 제안한다. 이 네트워크는 적대적 학습과 모odal 분류기를 사용하여 시각적 특징을 도메인에 관계없이 의미적인 특징과 도메인 특화된 특징으로 분해한다. 점진적 투영 전략은 강력한 의미적 감독을 유지하며, 교차 복원 손실은 검색 특징이 깔끔하고 완전한 의미 지식을 반영하도록 보장하여 스케치 테스트셋에서 62.3%의 mAP@all, TU-Berlin에서 46.0%의 성능을 달성하며 최신 기술 수준을 초월한다.

ABSTRACT

Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for searching natural images given free-hand sketches under the zero-shot scenario. Most existing methods solve this problem by simultaneously projecting visual features and semantic supervision into a low-dimensional common space for efficient retrieval. However, such low-dimensional projection destroys the completeness of semantic knowledge in original semantic space, so that it is unable to transfer useful knowledge well when learning semantic from different modalities. Moreover, the domain information and semantic information are entangled in visual features, which is not conducive for cross-modal matching since it will hinder the reduction of domain gap between sketch and image. In this paper, we propose a Progressive Domain-independent Feature Decomposition (PDFD) network for ZS-SBIR. Specifically, with the supervision of original semantic knowledge, PDFD decomposes visual features into domain features and semantic ones, and then the semantic features are projected into common space as retrieval features for ZS-SBIR. The progressive projection strategy maintains strong semantic supervision. Besides, to guarantee the retrieval features to capture clean and complete semantic information, the cross-reconstruction loss is introduced to encourage that any combinations of retrieval features and domain features can reconstruct the visual features. Extensive experiments demonstrate the superiority of our PDFD over state-of-the-art competitors.

연구 동기 및 목표

• 학습 예제가 없는 새로운 카테고리가 존재하는 제로샷 조건에서 스케치와 이미지 간의 다중모달 검색 과제를 해결한다.
• 기존 방법에서 저차원 투영으로 인해 발생하는 의미 지식의 열화 문제를 해결한다.
• 정확한 다중모달 매칭을 방해하는 스케치와 이미지 모달 간의 도메인 갭을 줄인다.
• 의미적 지식의 전이성을 향상시키기 위해 특징 학습 과정에서 강력한 의미적 감독을 유지한다.
• 도메인 특화된 노이즈 없이 깔끔하고 완전한 의미 특징을 생성하는 검색 프레임워크를 개발한다.

제안 방법

• 기존 의미 임베딩(예: Word2Vec, GloVe, 계층적 유사도)에서 학습된 의미 공간의 감독을 받으며, 판별기(discriminator)를 원본 의미 임베딩에 대해 훈련시킨 적대적 학습 프레임워크를 사용해 시각적 특징을 의미적 특징과 도메인 특화된 특징으로 분해한다.
• 원본 의미 공간(예: Word2Vec, GloVe, Jiang-Conrath)에서의 감독을 통해 의미 특징을 학습함으로써 의미의 완전성을 유지한다.
• 스케치와 이미지 입력을 구분하는 모달 분류기를 사용해 도메인 특징을 학습함으로써 도메인 특화된 표현을 강제한다.
• 점진적 투영 전략을 적용: 먼저 전체 의미 감독을 받으며 의미 특징을 학습한 후, 이를 공통 검색 공간으로 투영한다.
• 원본 시각적 특징이 검색(의미) 특징과 도메인 특징의 합으로 복원되도록 강제하는 교차 복원 손실을 도입함으로써 의미 순수성을 확보한다.
• 스케치 및 이미지 브랜치 간에 인코더와 디코더 파라미터를 공유함으로써 특징 일관성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 직접적인 저차원 투영 대비 점진적 투영 전략이 특징 학습 중 더 강력한 의미적 감독을 유지할 수 있는가?
• RQ2 의미적 특징과 도메인 특화된 특징으로 시각적 특징을 분해함으로써 스케치와 이미지 간의 도메인 갭을 줄일 수 있는가?
• RQ3 교차 복원 손실이 검색 특징이 깨끗하고 완전한 의미 정보만 포함하도록 효과적으로 강제할 수 있는가?
• RQ4 다양한 의미 임베딩 유형(예: Word2Vec, GloVe, Jiang-Conrath)의 통합이 검색 성능에 어떤 영향을 미치는가?
• RQ5 제안된 PDFD 프레임워크가 제로샷 스케치 기반 이미지 검색에서 최신 기술 수준의 방법보다 얼마나 뛰어나게 성능을 냅니다?

주요 결과

• 전체 PDFD 모델은 스케치 테스트셋에서 62.3%의 mAP@all, TU-Berlin에서 46.0%의 성능을 기록하여 최신 기술 수준의 방법을 크게 앞서간다.
• 점진적 투영 전략만으로도 스케치 테스트셋에서 기준 성능을 약 10% 향상시키고, TU-Berlin에서는 4% 향상시키며, 강력한 의미 감독 유지의 유용성을 입증한다.
• 모달 분류기 손실을 통한 특징 분해를 추가로 적용함으로써 성능 향상이 더욱 뚜렷해지며, 이는 도메인 갭 감소의 효과를 확인한다.
• 교차 복원 손실이 성능 향상에 크게 기여하며, 이는 검색 특징이 깨끗하고 완전한 의미 지식을 포함하도록 보장한다는 점을 확인한다.
• 64차원 검색 특징을 사용할 경우, 최고의 경쟁자 대비 스케치 테스트셋에서 13% 이상, TU-Berlin에서 10% 이상 높은 mAP를 기록한다.
• 실수형 512차원 특징을 사용하는 방법과 비교해도, PDFD는 스케치 테스트셋에서 약 11% 높은 mAP, TU-Berлин에서 1% 높은 mAP를 기록한다.