[논문 리뷰] Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval

Qing Liu, Lingxi Xie외 2명|arXiv (Cornell University)|2019. 04. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 9

한 줄 요약

이 논문은 이미지넷 사전학습 모델의 미세조정 중 기계적 망각을 완화하는 의미 인식 지식 보존 방법인 SAKE를 제안한다. 의미 지도 기반의 교사-학생 프레임워크를 활용함으로써 원본 도메인의 분류 특징을 유지함으로써, 원래 이미지넷 데이터에 접근하지 않더라도 제로샷 일반화 성능을 크게 향상시킨다. 이 방법은 TU-Berlin 및 Sketchy 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기준 모델 대비 mAP@all에서 최대 12.5% 향상을 기록한다.

ABSTRACT

Sketch-based image retrieval (SBIR) is widely recognized as an important vision problem which implies a wide range of real-world applications. Recently, research interests arise in solving this problem under the more realistic and challenging setting of zero-shot learning. In this paper, we investigate this problem from the viewpoint of domain adaptation which we show is critical in improving feature embedding in the zero-shot scenario. Based on a framework which starts with a pre-trained model on ImageNet and fine-tunes it on the training set of SBIR benchmark, we advocate the importance of preserving previously acquired knowledge, e.g., the rich discriminative features learned from ImageNet, to improve the model's transfer ability. For this purpose, we design an approach named Semantic-Aware Knowledge prEservation (SAKE), which fine-tunes the pre-trained model in an economical way and leverages semantic information, e.g., inter-class relationship, to achieve the goal of knowledge preservation. Zero-shot experiments on two extended SBIR datasets, TU-Berlin and Sketchy, verify the superior performance of our approach. Extensive diagnostic experiments validate that knowledge preserved benefits SBIR in zero-shot settings, as a large fraction of the performance gain is from the more properly structured feature embedding for photo images. Code is available at: https://github.com/qliu24/SAKE.

연구 동기 및 목표

• 제로샷 스케치 기반 이미지 검색(ZS-SBIR)에서 미세조정 시 발생하는 기계적 망각 문제를 해결하기 위해.
• 과제에 특화된 미세조정 중 이미지넷에서 학습한 풍부한 분류 가능한 시각적 특징을 유지함으로써 모델 일반화 성능을 향상시키기 위해.
• 원래 이미지넷 데이터셋에 접근이 불가능한 지식 보존 방법을 개발하기 위해.
• 대상 도메인의 사진 이미지에 대한 특징 임bedding 구조를 향상시켜 제로샷 환경에서의 다중모odal 매칭을 향상시키기 위해.

제안 방법

• 이미지넷 사전학습 모델을 고정된 교사로 사용하는 교사-학생 디스틸레이션 프레임워크를 사용하여, 미세조정 중 학생 모델을 안내한다.
• 각 훈련 이미지의 클래스 임베딩을 이미지넷 의미 공간에서 근사함으로써 의미 지도를 통합하여, 디스틸레이션 신호를 정밀화한다.
• 표준 분류 손실과 새로운 의미 인식 지식 보존 손실(ℒ_SAKE)을 조합한 손실 함수를 사용하며, 이는 클래스 수준의 의미 관계를 통해 학생의 특징을 교사의 특징과 정렬한다.
• 분류 정확도와 지식 보존을 균형 잡는 다중태스크 학습 목표를 사용하며, 균형 조정을 위한 하이퍼파ram터 λ_SAKE를 사용한다.
• 특징 표현을 최적화하여, 특히 대상 도메인의 사진 이미지에서 엄격한 클래스별 클러스터링을 유지한다.
• 이 방법은 효율적이다: 훈련 시 중간 정도의 계산 오버헤드만 필요하며, 추론 시 추가 자원이 필요하지 않다.

실험 결과

연구 질문

• RQ1 사전학습된 이미지넷 모델로부터의 지식 보존이 제로샷 스케치 기반 이미지 검색 성능을 향상시킬 수 있는가?
• RQ2 원래 훈련 데이터가 없을 때 의미 지도가 디스틸레이션에 어떻게 기여하는가?
• RQ3 원본 도메인 특징을 보존함으로써 ZS-SBIR에서 기계적 망각이 얼마나 감소하는가?
• RQ4 사진 임베딩 공간에서 개선된 특징 구조가 제로샷 설정에서의 다중모달 매칭에 어떻게 기여하는가?
• RQ5 분류 손실과 지식 보존 손실 간의 균형 조정이 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• SAKE는 ZS-SBIR에서 TU-Berlin 및 Sketchy 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 기준 모델 대비 mAP@all에서 최대 12.5% 향상을 기록한다.
• 성능 향상의 주요 원인은 대상 도메인의 사진 이미지에 대해 더 잘 정렬되고 밀도 높은 특징 표현 구조이다.
• 실험 결과 지식 보존이 기계적 망각을 크게 감소시킴을 확인: SAKE 없이 미세조정 후 이미지넷 분류 정확도가 56.29%에서 45.54%로 떨어지지만, SAKE를 사용할 경우 정확도가 유지된다.
• λ_SAKE 하이퍼파ram터를 증가시킬수록 이미지넷 및 비-이미지넷 사진 카테고리에서 성능 향상이 발생하여 효과적인 지식 유지가 확인된다.
• t-SNE 시각화 결과 SAKE는 기준 모델 대비 더 명확하고 분리 가능한 특징 클러스터를 생성하는 것으로 확인된다.
• 반복적 양자화(ITQ) 후에도 이 방법은 효과적이므로, 실세계 구현에서 특징 이진화에 대한 강건성을 보인다.