[논문 리뷰] Central Similarity Hashing via Hadamard matrix.

Yuan Li, Tao Wang외 4명|arXiv (Cornell University)|2019. 08. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 2

한 줄 요약

이 논문은 하다르드 행렬을 통한 중심 유사도 해싱을 제안하며, 유사한 데이터 쌍이 해밍 공간에서 공통된 해시 중심 주변에 집중되도록 하고 비유사 쌍은 분리되도록 유도하는 새로운 글로벌 유사도 메트릭을 도입한다. 하다르드 행렬을 활용해 고품질의 해시 중심을 효율적으로 구축함으로써 제안된 해시 중심 네트워크(HCN)는 기존 방법 대비 영상 및 비디오 검색에서 평균 평균 정확도(MAP)를 4%~13% 향상시키는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Hashing has been widely used for efficient large-scale multimedia data retrieval. Most existing methods learn hashing functions from data pairwise similarity to generate binary hash codes. However, in practice we find only learning from the local relationships of pairwise similarity cannot capture the global distribution of large-scale data, which would degrade the discriminability of the generated hash codes and harm the retrieval performance. To overcome this limitation, we propose a new global similarity metric, termed as \emph{central similarity}, to learn better hashing functions. The target of central similarity learning is to encourage hash codes for similar data pairs to be close to a common center and those for dissimilar pairs to converge to different centers in the Hamming space, which substantially improves retrieval accuracy. In order to principally formulate the central similarity learning, we define a new concept, \emph{hash center}, to be a set of points scattered in the Hamming space with a sufficient distance between each other, and propose to use Hadamard matrix to construct high-quality hash centers efficiently. Based on these definitions and designs, we devise a new hash center network (HCN) that learns hashing functions by optimizing the central similarity w.r.t. these hash centers. The central similarity learning and HCN are generic and can be applied for both image and video hashing. Extensive experiments for both image and video retrieval demonstrate HCN can generate cohesive hash codes for similar data pairs and dispersed hash codes for dissimilar pairs, and achieve noticeable boost in retrieval performance, i.e. 4\%-13\% in MAP over latest state-of-the-arts. The codes are in: \url{https://github.com/yuanli2333/Hadamard-Matrix-for-hashing}

연구 동기 및 목표

• 기존 해싱 방법이 국소적인 쌍별 유사도에만 의존하여 전반적인 데이터 분포를 포착하지 못하는 한계를 해결한다.
• 새로운 유사도 메트릭을 통해 글로벌 구조를 모델링하여 학습된 이진 해시 코드의 구분 능력을 향상시킨다.
• 해밍 공간에서 고품질의 해시 중심을 효율적이고 확장 가능한 방식으로 구축하는 방법을 개발한다.
• 이미지 및 비디오 검색에 모두 적용 가능한 일반적인 프레임워크를 설계하여 이러한 해시 중심을 기반으로 중심 유사도를 최적화한다.

제안 방법

• 유사한 데이터 쌍이 해밍 공간에서 공통된 해시 중심에 가까워지도록 유도하는 새로운 글로벌 유사도 메트릭인 중심 유사도를 정의한다.
• 해밍 공간 내 잘 분리된 점들의 집합으로서 '해시 중심'의 개념을 도입하여 유사한 항목들을 군집화하기 위한 기준점으로 활용한다.
• 최대한의 중심 간 거리를 확보함으로써 고품질이고 구조화된 분포를 가지는 해시 중심을 효율적으로 생성하기 위해 하다르드 행렬을 활용한다.
• 구축된 해시 중심을 기반으로 해싱 함수를 동시에 학습하고 중심 유사도 손실을 최적화하는 딥러닝 프레임워크인 해시 중심 네트워크(HCN)를 제안한다.
• 중심 유사도 학습 목표를 대비 손실로 공식화하여 유사 쌍은 같은 중심 쪽으로 끌어당기고 비유사 쌍은 서로의 중심에서 멀어지도록 한다.
• 확장성과 효율성을 확보하기 위해 하다르드 기반 해시 중심 구축을 학습 파이프라인에 통합한다.

실험 결과

연구 질문

• RQ1 공통된 해시 중심을 통해 전반적인 데이터 분포를 모델링하면 학습된 이진 해시 코드의 구분 능력이 향상되는가?
• RQ2 공통 중심 주변에 군집화를 강제하는 중심 유사도는 기존의 쌍별 유사도에 비해 검색 정확도에서 어떻게 비교되는가?
• RQ3 하다르드 행렬을 효과적으로 활용하여 향상된 해싱 성능를 위한 고품질이고 잘 분리된 해시 중심을 생성할 수 있는가?
• RQ4 제안된 HCN 프레임워크는 동일한 평가 프로토콜 하에서 최신 기술 대비 이미지 및 비디오 검색에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 중심 유사도 학습 프레임워크는 다양한 다중미디어 검색 작업 전반에서 일반적이고 효과적인가?

주요 결과

• 제안된 HCN 프레임워크는 최신 기술 대비 이미지 및 비디오 검색에서 평균 평균 정확도(MAP)를 4%~13% 향상시킨다.
• HCN가 생성한 해시 코드는 유사한 데이터 쌍 간에 더 강한 결속력을 보이며 비유사 쌍 간에는 더 큰 산산이 흩어짐을 보여, 구분 능력 향상을 시사한다.
• 하다르드 행렬의 사용은 해밍 공간에서 최대 중심 간 거리를 확보함으로써 고품질의 해시 중심을 효율적이고 확장 가능한 방식으로 구축할 수 있도록 한다.
• 중심 유사도 학습은 국소적인 쌍별 관계를 넘어서 전반적인 데이터 구조를 포착함으로써 검색 성능을 크게 향상시킨다.
• HCN 프레임워크는 이미지 및 비디오 검색 작업 전반에서 일반적이며 효과적이며 다양한 환경에서 일관된 성능 향상을 보였다.
• 제거 실험을 통해 중심 유사도 손실과 해시 중심 구축이 성능 향상의 핵심 요소임을 확인했다.