[논문 리뷰] Zero-Shot Sketch-Image Hashing

Yuming Shen, Li Liu외 2명|arXiv (Cornell University)|2018. 03. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 57인용 수 11

한 줄 요약

이 논문은 제로샷 조건 하에서 효율적인 대규모 스케치 기반 이미지 검색을 위한 최초의 엔드 투 엔드 딥 러닝 모델인 제로샷 스케치-이미지 해싱(ZSIH)을 제안한다. 이 모델은 크로네커 융합, 그래프 컨볼루션, 생성형 해싱을 활용한 삼중 네트워크 아키텍처를 사용하여 모odal 이질성을 완화하고, 학습 중에 볼 수 없었던 클래스로의 의미 지식을 전이함으로써 제로샷 평가 프로토콜 하에서 Sketchy 및 TU-Berlin 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent studies show that large-scale sketch-based image retrieval (SBIR) can be efficiently tackled by cross-modal binary representation learning methods, where Hamming distance matching significantly speeds up the process of similarity search. Providing training and test data subjected to a fixed set of pre-defined categories, the cutting-edge SBIR and cross-modal hashing works obtain acceptable retrieval performance. However, most of the existing methods fail when the categories of query sketches have never been seen during training. In this paper, the above problem is briefed as a novel but realistic zero-shot SBIR hashing task. We elaborate the challenges of this special task and accordingly propose a zero-shot sketch-image hashing (ZSIH) model. An end-to-end three-network architecture is built, two of which are treated as the binary encoders. The third network mitigates the sketch-image heterogeneity and enhances the semantic relations among data by utilizing the Kronecker fusion layer and graph convolution, respectively. As an important part of ZSIH, we formulate a generative hashing scheme in reconstructing semantic knowledge representations for zero-shot retrieval. To the best of our knowledge, ZSIH is the first zero-shot hashing work suitable for SBIR and cross-modal search. Comprehensive experiments are conducted on two extended datasets, i.e., Sketchy and TU-Berlin with a novel zero-shot train-test split. The proposed model remarkably outperforms related works.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 카테고리의 쿼리 스케치가 존재할 경우 모델이 실패하는 스케치 기반 이미지 검색(SBIR) 분야의 핵심 격차를 해결한다.
• 이진 코드를 통해 높은 검색 효율성을 유지하면서도, 볼 수 없는 클래스로의 일반화를 가능하게 하는 크로스모달 해싱 프레임워크를 개발한다.
• 스케치와 이미지 간의 모달 이질성을 주의 집중 특징 융합과 의미 지식 전이를 통해 효과적으로 완화한다.
• 라벨이 없는 볼 수 없는 클래스에 대해 학습이 필요 없이, 기울기 전파가 가능한 엔드 투 엔드 학습이 가능한 모델을 설계한다.
• 효율적인 해밍 거리 매칭과 볼 수 없는 개념으로의 의미 일반화를 결합함으로써 실용적인 대규모 검색을 가능하게 한다.

제안 방법

• 스케치와 이미지의 이진 코드 생성을 위한 두 개의 인코더와 의미 지식 융합을 위한 세 번째 네트워크를 포함한 엔드 투 엔드 삼중 네트워크 아키텍처를 사용한다.
• 모달 불일치를 줄이기 위해 주의 메커니즘을 갖춘 크로네커 융합 레이어를 활용하여 스케치와 이미지 특징을 효과적으로 융합한다.
• 단어 임베딩에서 생성된 의미 그래프를 기반으로 기존 및 볼 수 없는 클래스 간의 의미 관계를 모델링하기 위해 그래프 컨볼루션 네트워크(GCNs)를 통합한다.
• 학습된 이진 코드에서 의미 표현을 재구성하는 생성형 해싱 기법을 구현하여, 볼 수 없는 클래스로의 역전파 가능한 지식 전이를 가능하게 한다.
• 이진 코드 품질 향상과 중복 제거를 위해 비트 정규화와 분산 손실을 적용한다.
• 모든 테스트 카테고리가 훈련 세트에서 제외된 새로운 제로샷 훈련-테스트 분할을 사용하여 모델을 훈련한다. 이는 실제 웹 환경 구현을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 추론 시 레이블 예측이 없는 경우에도 딥 해싱 모델이 스케치 기반 이미지 검색에서 볼 수 없는 스케치 및 이미지 카테고리로 일반화할 수 있는가?
• RQ2 스케치와 이미지 간의 모달 이질성을 효과적으로 완화하여 공통의 이진 표현 학습을 가능하게 하기 위해선 어떤 방법이 필요한가?
• RQ3 제로샷 해싱에서 의미 그래프 구축은 기존 클래스에서 볼 수 없는 클래스로 지식을 전이하는 데 어떤 역할을 하는가?
• RQ4 생성형 해싱은 이진 코드 학습에서 의미 지식 재구성과 제로샷 일반화에 어떻게 기여하는가?
• RQ5 크로네커 융합은 기존의 특징 융합 방법보다 크로스모달 스케치-이미지 해싱에서 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• ZSIH는 제로샷 평가 하에서 Sketchy 및 TU-Berlin 데이터셋 모두에서 기존 방법보다 유의미하게 높은 평균 정확도(mAP)를 달성했으며, Sketchy에서 64비트 mAP는 68.7%, TU-Berlin에서는 61.2%를 기록했다.
• 절단 실험 결과 크로네커 융합이 특징 연결 및 MFB보다 우수하며, 평균적으로 mAP를 5% 이상 향상시킴을 확인했다.
• 그래프 컨볼루션 레이어를 제거하면 mAP가 약 4% 감소하여, 클래스 간 의미 관계를 모델링하는 데 있어 그 중요성을 입증했다.
• 스토캐스틱 뉴런을 비트 정규화로 대체할 경우 훈련이 불안정해지고 과적합이 발생함을 확인하여, 제안된 기울기 전파 가능한 해싱 메커니즘이 중요함을 입증했다.
• 학습된 클래스 수가 감소할 경우에도 모델은 높은 성능을 유지하여 강건성과 일반화 능력을 입증했다.
• ZSIH는 엔드 투 엔드 기반의 기울기 전파 가능한 프레임워크에서 제로샷 학습, 크로스모달 해싱, 스케치 기반 이미지 검색을 성공적으로 통합한 최초의 방법이다.