[논문 리뷰] Supervised Deep Hashing for Hierarchical Labeled Data

Dan Wang, Heyan Huang외 5명|arXiv (Cornell University)|2017. 04. 07.

Advanced Image and Video Retrieval Techniques인용 수 14

한 줄 요약

이 논문은 이미지 검색 성능을 햖थ기 위해 계층적 레이블 구조를 활용하는 새로운 딥러닝 방법인 감독형 계층적 딥 해싱(SHDH)을 제안한다. 계층적 유사도 측정 방식을 설계하고, 분류 가능한 해시 코드를 생성하도록 딥 컨볼루션 네트워크를 훈련시킴으로써, SHDH는 CIFAR-100과 IAPRTC-12에서 최신 기준보다 뛰어난 성능을 보이며, 64비트 코드를 사용할 경우 평균 정밀도가 최대 18.4% 향상되고 NDCG가 11.4% 향상된다.

ABSTRACT

Recently, hashing methods have been widely used in large-scale image retrieval. However, most existing hashing methods did not consider the hierarchical relation of labels, which means that they ignored the rich information stored in the hierarchy. Moreover, most of previous works treat each bit in a hash code equally, which does not meet the scenario of hierarchical labeled data. In this paper, we propose a novel deep hashing method, called supervised hierarchical deep hashing (SHDH), to perform hash code learning for hierarchical labeled data. Specifically, we define a novel similarity formula for hierarchical labeled data by weighting each layer, and design a deep convolutional neural network to obtain a hash code for each data point. Extensive experiments on several real-world public datasets show that the proposed method outperforms the state-of-the-art baselines in the image retrieval task.

연구 동기 및 목표

• 이미지 데이터셋에서 계층적 레이블 구조를 忽略하는 기존 해싱 방법의 한계를 해결한다.
• 이중 해시 코드 학습 과정에 계층적 의미 관계를 통합하여 검색 성능을 향상시킨다.
• 계층적 레이블의 계층적 유사도를 고려하면서도 분류 가능한 해시 코드를 학습하는 딥 신경망을 설계한다.
• 비계층적 기준 대비 계층적 지도 학습이 해싱 성능을 상당히 향상시킨다는 것을 입증한다.

제안 방법

• 각 레이어의 중요도를 다르게 설정하여 계층적 유사도 측정 방식을 제안하며, 더 깊은 레이어에 더 높은 중요도를 할당한다.
• 두 이미지가 레이어 k에서 유사하다는 것을, 그들이 동일한 공통 조상(ancestor)을 공유할 경우로 정의한다.
• 딥 시아모이드 유사 구조의 컨볼루션 신경망에 계층적 유사도를 통합하여 특징과 해시 코드를 동시에 학습한다.
• 유사한 이미지가 해밍 공간에서 더 가까운 해시 코드를 가지도록 유도하는 대비 손실 함수를 사용하여 네트워크를 최적화한다.
• 학습 중 각 계층 수준의 기여도를 동적으로 조정할 수 있도록 학습 가능한 레이어 가중치(α)를 적용한다.
• 백프로파게이션을 사용하여 엔드 투 엔드로 훈련함으로써 특징 추출과 해시 코드 생성을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 감독형 해싱에서 계층적 레이블 구조를 모델링하면 비계층적 방법 대비 검색 정확도가 향상되는가?
• RQ2 계층적 유사도 측정 방식은 학습된 해시 코드의 분류 능력에 어떤 영향을 미치는가?
• RQ3 실제 데이터셋에서 엔드 투 엔드 딥 러닝에 계층적 지도 학습을 통합하면 전통적 해싱 방법보다 얼마나 뛰어난가?
• RQ4 제안된 방법은 하이퍼파rameter 설정, 특히 레이어 가중치 인자 α에 얼마나 민감한가?
• RQ5 계층적 구조의 통합이 이미지 검색 작업에서 더 나은 일반화 및 강건성 성능을 이끌어내는가?

주요 결과

• CIFAR-100에서, SHDH는 모든 코드 길이에 걸쳐 최고의 기준(즉, DPSH) 대비 평균 정밀도(AVG)가 12.5%에서 18.4%까지 상승한다.
• 64비트 코드를 사용할 경우, SHDH는 DPSH 대비 DCG에서 10.7%에서 16.7%까지 향상되고, NDCG는 8.7%에서 11.4%까지 향상된다.
• IAPRTC-12에서, SHDH는 모든 코드 길이에서 모든 기준보다 뛰어나며, 데이터셋의 다양성에 대비한 강건성을 입증한다.
• 특히 높은 상위 n개 검색 순위에서, Weighted Recall@n 성능이 뛰어나 랭킹 품질이 뛰어나다는 것을 보여준다.
• SHDH는 하이퍼파rameter α에 대해 민감하지 않으며, 넓은 범위(0.5 ≤ α ≤ 2)에서 높은 성능을 유지함으로써 안정성을 보여준다.
• 64비트 코드에서, SHDH는 해밍 거리가 0인 결과로 2,065건을 반환하는 반면, DPSH는 4,483건을 반환하여 더 나은 계층적 분류 능력으로 인해 정밀도가 높다는 것을 보여준다.