[논문 리뷰] Supervised matrix factorization for cross-modality hashing

Hong Liu, Rongrong Ji외 2명|arXiv (Cornell University)|2016. 07. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 22

한 줄 요약

이 논문은 다중 모odal 데이터(예: 이미지 및 텍스트)를 공유된 해밍 공간에 정렬하기 위해 집합적 비음수 행렬 분해를 사용하는 새로운 교차 모odal 해싱 방법인 감독 행렬 분해 해싱(SMFH)을 제안한다. 그래프 정규화를 통합하여 특성 유사성을 유지하고 의미적 레이블을 활용함으로써, PASCAL-Sentence, Wiki, NUS-WIDE 세 가지 벤치마크에서 검색 정확도가 향상된다.

ABSTRACT

Matrix factorization has been recently utilized for the task of multi-modal hashing for cross-modality visual search, where basis functions are learned to map data from different modalities to the same Hamming embedding. In this paper, we propose a novel cross-modality hashing algorithm termed Supervised Matrix Factorization Hashing (SMFH) which tackles the multi-modal hashing problem with a collective non-negative matrix factorization across the different modalities. In particular, SMFH employs a well-designed binary code learning algorithm to preserve the similarities among multi-modal original features through a graph regularization. At the same time, semantic labels, when available, are incorporated into the learning procedure. We conjecture that all these would facilitate to preserve the most relevant information during the binary quantization process, and hence improve the retrieval accuracy. We demonstrate the superior performance of SMFH on three cross-modality visual search benchmarks, i.e., the PASCAL-Sentence, Wiki, and NUS-WIDE, with quantitative comparison to various state-of-the-art methods [Kumar and Udupa, 2011; Rastegari et al., 2013; Zhang and Li, 2014; Ding et al., 2014].

연구 동기 및 목표

• 이질적인 데이터 모달 간의 교차 모달 시각 검색 문제를 해결하기 위해 이질적인 데이터 모달에 대한 공통된 이진 코드 공간을 학습하는 것.
• 이진 양자화 과정 중 다중 모달 특성 간의 의미적 및 구조적 유사성을 유지하여 검색 정확도를 향상시키는 것.
• 의미적 레이블을 행렬 분해 과정에 통합하여 더 구분력 있는 해싱 코드 학습을 이끄는 것.
• 모든 모달 간에 특성 정렬, 유사성 유지, 레이블 감독을 동시에 최적화하는 통합 프레임워크를 개발하는 것.

제안 방법

• SMFH는 다중 모달의 특성 행렬을 공통 기저 함수와 계수 행렬로 동시에 분해하기 위해 집합적 비음수 행렬 분해를 활용한다.
• 임베딩 공간에서 원래의 다중 모달 특성 간의 유사성 구조를 유지하기 위해 그래프 정규화 항을 도입한다.
• 의미적 레이블을 최적화 목표에 통합하여 의미 관계를 반영하는 이진 코드 학습을 이끌어내는 데 사용한다.
• 저랭크 근사, 그래프 기반 유사성 유지, 레이블 감독을 균형 잡는 통합 목적 함수를 제안한다.
• 계수 행렬의 희박성과 이진 제약 조건을 강제하는 반복 최적화 과정을 통해 이진 코드를 학습한다.
• 엔드 투 엔드로 훈련하여 해밍 공간 내 시각적 및 텍스트적 특성 간의 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 집합적 비음수 행렬 분해가 교차 모달 검색을 위한 공통 이진 임베딩 공간에 다중 모달 데이터를 효과적으로 정렬하는 데 유용한가?
• RQ2 그래프 정규화를 통합함으로써 학습된 해싱 코드에서 유사성 유지가 어떻게 향상되는가?
• RQ3 의미적 레이블이 학습된 해싱 함수의 구분력에 어느 정도 기여하는가?
• RQ4 표준 교차 모달 검색 벤치마크에서 SMFH는 최신 기술 대비 성능적으로 어떻게 비교되는가?

주요 결과

• SMFH는 기존 최신 기술 대비 PASCAL-Sentence, Wiki, NUS-WIDE 벤치마크에서 뛰어난 검색 성능을 달성한다.
• 의미적 레이블 통합이 학습된 해싱 코드의 구분력 향상에 뚜렷한 기여를 한다.
• 그래프 정규화가 이진 양자화 과정 중 다중 모달 특성의 내재된 유사성 구조를 효과적으로 유지한다.
• 모든 세 벤치마크에서 평균 평균 정밀도(mAP) 향상이 일관되게 관찰되어 이전 방법들을 능가한다.