[논문 리뷰] Transfer Adversarial Hashing for Hamming Space Retrieval

Zhangjie Cao, Mingsheng Long외 2명|arXiv (Cornell University)|2017. 12. 13.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 도메인 이격 데이터 간의 효율적인 해밍 공간 검색을 가능하게 하는 딥 러닝 프레임워크인 전이 적대적 해싱(TAH)을 제안한다. 이는 유사한 해싱 코드가 해밍 반경 2 이내에 집중되도록 하는 쌍별 t-분포 교차 엔트로피 손실과 소스 및 타겟 도메인 분포를 정렬하는 적대적 네트워크를 결합한다. TAH는 NUS-WIDE 및 VisDA2017 벤치마크에서 최신 기술 수준의 성능을 달성하며, 소스 도메인과 타겟 도메인이 상이한 전이 설정에서 검색 정확도를 크게 향상시킨다.

ABSTRACT

Hashing is widely applied to large-scale image retrieval due to the storage and retrieval efficiency. Existing work on deep hashing assumes that the database in the target domain is identically distributed with the training set in the source domain. This paper relaxes this assumption to a transfer retrieval setting, which allows the database and the training set to come from different but relevant domains. However, the transfer retrieval setting will introduce two technical difficulties: first, the hash model trained on the source domain cannot work well on the target domain due to the large distribution gap; second, the domain gap makes it difficult to concentrate the database points to be within a small Hamming ball. As a consequence, transfer retrieval performance within Hamming Radius 2 degrades significantly in existing hashing methods. This paper presents Transfer Adversarial Hashing (TAH), a new hybrid deep architecture that incorporates a pairwise $t$-distribution cross-entropy loss to learn concentrated hash codes and an adversarial network to align the data distributions between the source and target domains. TAH can generate compact transfer hash codes for efficient image retrieval on both source and target domains. Comprehensive experiments validate that TAH yields state of the art Hamming space retrieval performance on standard datasets.

연구 동기 및 목표

• 이미지 검색을 위한 딥 해싱에서 소스 도메인과 타겟 도메인 간 큰 분포 간극을 해결하기 위한 것이다.
• 학습 데이터와 데이터베이스 데이터가 서로 다른데도 관련된 도메인에서 해밍 반경 2 이내에서 해밍 공간 검색 성능을 향상시키기 위한 것이다.
• 유사성 관계를 동시에 학습하고 도메인 분포를 정렬하여 이식 가능한 해싱 코드를 생성하는 통합된 딥 아키텍처를 개발하기 위한 것이다.
• 타겟 도메인 해밍 볼 내에서 유사한 점들이 희박하게 분포함으로써 발생하는 검색 품질 저하를 완화하기 위한 것이다.

제안 방법

• 해시 공간에서 유사한 데이터 포인트가 해밍 반경 2 이내의 볼 안에 집중되도록 유도하기 위해 쌍별 t-분포 교차 엔트로피 손실을 도입한다.
• 소스 도메인과 타겟 도메인의 특징 분포를 정렬하기 위해 적대적 네트워크를 활용하여 도메인 이격을 감소시킨다.
• 유사성 유지 및 도메인 정렬을 동시에 최적화하기 위한 엔드 투 엔드 딥 신경망을 설계한다.
• 타겟 도메인에 레이블이 필요 없이도 비지도 학습된 타겟 도메인 데이터를 활용하여 도메인 적응을 향상시킨다.
• 하이브리드 아키텍처를 활용하여 의미적 유사성을 도메인 간에 유지하는 컴act하고 이식 가능한 해싱 코드를 생성한다.
• 잠재 공간에서 소스 도메인과 타겟 도메인 간의 분포 간극을 최소화하기 위해 적대적 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 소스 도메인에서 훈련된 딥 해싱 모델이 데이터 분포가 다른 타겟 도메인으로 효과적으로 일반화될 수 있는가?
• RQ2 어떻게 하면 도메인 이격 상황에서 해밍 반경 2 이내에서 높은 검색 정확도를 유지할 수 있는가?
• RQ3 표준 교차 엔트로피에 비해 t-분포 기반 유사성 손실이 해밍 공간 내에서 유사한 점들의 집중도를 얼마나 향상시키는가?
• RQ4 적대적 도메인 정렬이 MMD와 같은 분포 매칭 방법보다 전이 해싱에서 성능을 더 잘 향상시키는가?
• RQ5 TAH의 구성 요소인 유사성 학습과 도메인 정렬이 검색 성능에 각각 어떤 기여를 하는가?

주요 결과

• TAH는 전이 검색 설정 하에서 NUS-WIDE 및 VisDA2017 데이터셋 모두에서 최신 기술 수준의 평균 평균 정밀도(MAP) 성능을 달성한다.
• VisDA2017 데이터셋에서 TAH는 실물→가상 작업에서 48비트에서 MAP 0.784를 기록하며, 다음으로 우수한 방법보다 0.067 높은 성능을 보였다.
• t-분포 손실을 표준 교차 엔트로피로 대체한 TAH-t 버전은 평균 MAP에서 0.031 감소를 보이며, t-분포 손실의 우수성을 확인한다.
• 적대적 학습을 생략한 TAH-A 버전은 가상→실물 작업에서 평균 MAP에서 0.078 감소를 보이며, 도메인 정렬의 중요성을 입증한다.
• 검색 임계값이 증가함에 따라 정밀도는 안정적으로 유지되고 재현율은 증가함을 확인하여, TAH의 t-분포 손실이 해밍 반경 2 이내에 관련 포인트를 효과적으로 집중시키는 것으로 나타났다.
• 시각화 결과에 따르면, 특히 도메인 간 설정에서 DHN과 HashNet에 비해 TAH가 더 관련성 있고 사용자가 원하는 이미지를 더 잘 검색한다.