[논문 리뷰] Attribute-Guided Network for Cross-Modal Zero-Shot Hashing

Zhong Ji, Yuxin Sun외 3명|arXiv (Cornell University)|2018. 02. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 시각적 및 텍스처적 특징을 공유된 속성 공간으로 정렬하여 모odal 이질성 문제를 완화하고, Zero-Shot 검색을 가능하게 하는 딥 뉴럴 네트워크인 속성 유도 네트워크(Attriubte-Guided Network, AgNet)를 제안한다. AgNet는 클래스 수준의 속성을 활용하여 해시 코드 생성을 유도하며, AwA, SUN, ImageNet 데이터셋에서 이미지 기반 및 텍스트 기반 검색 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Zero-Shot Hashing aims at learning a hashing model that is trained only by instances from seen categories but can generate well to those of unseen categories. Typically, it is achieved by utilizing a semantic embedding space to transfer knowledge from seen domain to unseen domain. Existing efforts mainly focus on single-modal retrieval task, especially Image-Based Image Retrieval (IBIR). However, as a highlighted research topic in the field of hashing, cross-modal retrieval is more common in real world applications. To address the Cross-Modal Zero-Shot Hashing (CMZSH) retrieval task, we propose a novel Attribute-Guided Network (AgNet), which can perform not only IBIR, but also Text-Based Image Retrieval (TBIR). In particular, AgNet aligns different modal data into a semantically rich attribute space, which bridges the gap caused by modality heterogeneity and zero-shot setting. We also design an effective strategy that exploits the attribute to guide the generation of hash codes for image and text within the same network. Extensive experimental results on three benchmark datasets (AwA, SUN, and ImageNet) demonstrate the superiority of AgNet on both cross-modal and single-modal zero-shot image retrieval tasks.

연구 동기 및 목표

• 기존 Zero-Shot Hashing 방법이 단일 모달(이미지 기반) 검색에 국한되어 있는 한계를 해결하고, 특히 텍스트 기반 이미지 검색과 같은 실제의 다중 모달 환경에서의 응용을 고려한다.
• Zero-Shot 환경에서 발생하는 모달 이질성과 카테고리 이동으로 인한 의미적 갭을 해소한다.
• 고차원 특징와 저차원 이진 해시 코드 간의 의미적 유사성을 유지한다.
• 이미지 기반 이미지 검색(IBIR)과 텍스트 기반 이미지 검색(TBIR)을 모두 지원하는 통합 프레임워크를 개발한다.
• 클래스 수준의 속성을 시각적 및 텍스처적 모달 간의 공유 의미 공간으로 활용하여 특징 정렬과 해시 코드 생성을 유도한다.

제안 방법

• AgNet는 시각적 및 텍스처적 특징을 모달 간 이질성을 줄이고 Zero-Shot 일반화를 가능하게 하기 위해 공통의 의미적 풍부한 속성 공간으로 매핑한다.
• 공유된 딥 네트워크 아키텍처를 사용하여 두 모달 모두에 대해 이진 해시 코드를 생성하며, 예측된 속성 벡터에 의해 유도된다.
• 속성 예측과 해시 코드 학습을 동시에 최적화하기 위해 다중 작업 학습 전략을 적용하여 의미 일致성을 확보한다.
• 해시 코드 생성 과정에서 하드 스위칭 연산을 통과할 수 있도록 스트레스 투(estimator)를 사용하여 역전파를 수행한다.
• 손실 함수는 의미적 유사성 유지에 기여하는 트리플릿 손실과 유사 및 비유사 샘플 간의 상대적 순서를 강제하는 마진 기반 순서 손실을 조합한다.
• 양성 오차 거리(PED)는 양성 속성 태그에 집중하여 분류 성능 평가를 위한 정확도 평가 지표로 사용된다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 Zero-Shot 환경에서 이미지 기반 이미지 검색(IBIR)과 텍스트 기반 이미지 검색(TBIR)을 효과적으로 지원할 수 있는가?
• RQ2 이미지와 텍스트 간의 모달 이질성을 Zero-Shot 해싱에서 어떻게 완화할 수 있는가?
• RQ3 클래스 수준의 속성을 공유 의미 공간으로 사용할 경우 Zero-Shot 검색 성능 향상 정도는 어느 정도인가?
• RQ4 속성 예측 정확도가 미리 보지 않은 카테고리에서 해싱 모델의 전체 성능에 어떤 영향을 미치는가?
• RQ5 학습된 해시 코드가 저차원 이진 공간에서 원래의 고차원 특징의 의미적 유사성을 잘 유지하는가?

주요 결과

• AgNet는 AwA, SUN, ImageNet 세 가지 벤치마크 데이터셋에서 다중 모달 및 단일 모달 Zero-Shot 이미지 검색 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.
• AwA 데이터셋에서 AgNet는 TBIR에 대해 평균 평균 정밀도(mAP) 85.6%와 IBIR에 대해 82.3%를 기록하며 이전 SOTA 방법을 초월한다.
• SUN 데이터셋에서 AgNet는 TBIR에 대해 mAP 72.1%, IBIR에 대해 69.8%를 기록하며, 낮은 속성 예측 정확도에도 불구하고 뛰어난 견고성을 보였다.
• 양성 오차 거리(PED) 분석 결과, AwA에서의 속성 예측 정확도가 SUN보다 더 높으며, 이는 AgNet의 AwA에서의 뛰어난 성능과 상관관계가 있음을 시사한다.
• t-SNE 시각화 결과는 속성 공간 내 의미 관계가 학습된 해시 공간에 잘 유지되고 있음을 확인하여 임베딩 매핑의 효과성을 검증한다.
• 혼동 행렬 분석 결과, 대부분의 시각적 인스턴스는 올바르게 해당 텍스처 인스턴스와 매칭되지만, 의미적으로 유사한 카테고리(예: 고래와 고래새우) 간에 혼동이 발생하는 경우가 있어, 이러한 경우의 정확한 구분을 향상시킬 필요가 있음을 시사한다.