[논문 리뷰] Deep Semantic Multimodal Hashing Network for Scalable Multimedia Retrieval.

Lu Jin, Jinhui Tang외 3명|arXiv (Cornell University)|2019. 01. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 75인용 수 5

한 줄 요약

이 논문은 상호모odal 유사성, 내모odal 의미 레이블, 비트 균형 제약 조건을 유지하면서 다중모odal 간의 유사성을 보존함으로써 모odal별 해시 함수를 공동으로 학습하는 통합된 딥 러닝 프레임워크인 딥 시맨틱 멀티모달 해싱 네트워크(Deep Semantic Multimodal Hashing Network, DSMHN)를 제안한다. 학습 과정에서 의미 레이블을 해시 코드에 직접 통합함으로써 DSMHN은 세 가지 벤치마크 데이터셋에서 최신 기술 대비 뛰어난 검색 성능을 달성한다.

ABSTRACT

Hashing has been widely applied to multimodal retrieval on large-scale multimedia data due to its efficiency in computation and storage. Particularly, deep hashing has received unprecedented research attention in recent years, owing to its perfect retrieval performance. However, most of existing deep hashing methods learn binary hash codes by preserving the similarity relationship while without exploiting the semantic labels of data points, which result in suboptimal binary codes. In this work, we propose a novel Deep Semantic Multimodal Hashing Network for scalable multimodal retrieval. In DSMHN, two sets of modality-specific hash functions are jointly learned by explicitly preserving both the inter-modality similarities and the intra-modality semantic labels. Specifically, with the assumption that the learned hash codes should be optimal for task-specific classification, two stream networks are jointly trained to learn the hash functions by embedding the semantic labels on the resultant hash codes. Different from previous deep hashing methods, which are tied to some particular forms of loss functions, the proposed deep hashing framework can be flexibly integrated with different types of loss functions. In addition, the bit balance property is investigated to generate binary codes with each bit having 50% probability to be 1 or -1. Moreover, a unified deep multimodal hashing framework is proposed to learn compact and high-quality hash codes by exploiting the feature representation learning, inter-modality similarity preserving learning, semantic label preserving learning and hash functions learning with bit balanced constraint simultaneously. We conduct extensive experiments for both unimodal and cross-modal retrieval tasks on three widely-used multimodal retrieval datasets. The experimental result demonstrates that DSMHN significantly outperforms state-of-the-art methods.

연구 동기 및 목표

• 이진 코드 학습 과정에서 의미 레이블을 忽시하는 기존 딥 해싱 방법의 한계를 해결하기 위해.
• 해시 코드 학습 과정에 의미 레이블 정보를 명시적으로 통합하여 검색 정확도를 향상시키기 위해.
• 고정된 아키텍처를 초월하여 다양한 손실 함수와 호환 가능한 유연한 딥 해싱 프레임워크를 개발하기 위해.
• 각 비트가 약 50% 확률로 1 또는 -1이 되도록 하여 해시 코드의 품질을 향상시키기 위해 비트 균형을 보장하기 위해.
• 특징 표현 학습, 유사성 보존, 의미 레이블 학습, 비트 균형을 하나의 엔드 투 엔드 프레임워크로 통합하기 위해.

제안 방법

• 공유된 특징과 모달별 특징을 사용하여 공동으로 학습되는 두 개의 스트림 네트워크가 모달별 해시 함수를 학습한다.
• 학습 과정에서 의미 레이블을 해시 코드에 직접 통합하여 의미적으로 유의미한 이진 코드 학습을 이끌어내기 위해.
• 유사한 교차모달 쌍의 해시 코드 간의 거리를 최소화하여 상호모달 유사성을 유지한다.
• 내모달 의미 레이블 보존을 위해 해시 코드를 해당 의미 임베딩과 정렬한다.
• 해시 코드의 각 비트가 약 50% 확률로 1 또는 -1이 되도록 하기 위해 비트 균형 제약 조건을 적용한다.
• 다양한 손실 함수와 호환 가능한 유연한 아키텍처로 설계되어 다양한 최적화 목표와의 통합이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 의미 레이블을 딥 해시 코드 학습에 명시적으로 통합하는 것이 멀티모달 검색 작업의 검색 성능 향상에 기여하는가?
• RQ2 상호모달 유사성과 내모달 의미 레이블의 공동 학습이 학습된 이진 코드의 품질에 어떤 영향을 미치는가?
• RQ3 비트 균형을 강제 적용함으로써 딥 멀티모달 해싱 모델의 성능 향상은 어느 정도 이루어지는가?
• RQ4 제안된 프레임워크는 성능 저하 없이 다양한 손실 함수로의 확장이 가능한가?
• RQ5 DSMHN은 단모달 및 교차모달 검색 시나리오에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• DSMHN은 널리 사용되는 세 가지 멀티모달 검색 데이터셋에서 기존 최신 기술 대비 뚜렷한 성능 향상을 보였다.
• 해시 코드 학습 과정에 의미 레이블을 통합함으로써 더 구분력 있고 의미적으로 유의미한 이진 코드가 도출되었다.
• 비트 균형 제약 조건은 일반화 성능 향상과 해시 코드의 균일한 분포를 향상시키는 데 기여하였다.
• 특징 학습, 유사성 보존, 의미 레이블 정렬의 공동 최적화가 단모달 및 교차모달 작업 전반에서 검색 정확도 향상에 기여하였다.
• 제안된 프레임워크는 뛰어난 일반화 능력과 유연성을 보였으며, 성능 저하 없이 다양한 손실 함수와의 통합이 가능하였다.