[논문 리뷰] Transitive Hashing Network for Heterogeneous Multimedia Retrieval

Zhangjie Cao, Mingsheng Long외 1명|arXiv (Cornell University)|2016. 08. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 16

한 줄 요약

이 논문은 보조 데이터셋을 활용하여 모odal 관계를 기반으로 이행적 해시 코드를 학습함으로써, 교차 모odal 및 교차 도메인 다중미디어 검색을 위한 이행적 해싱 네트워크(THN)를 제안한다. 종합적인 최적화를 통해 교차 모달 상관관계 학습과 도메인 분포 정합을 동시에 수행하는 엔드 투 엔드 딥 아키텍처를 구현함으로써, NUS-WIDE 및 ImageNet-YahooQA에서 최신 기술 수준을 상회하는 성능을 달성하며, 평균 평균 정밀도(MAP)에서 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Hashing has been widely applied to large-scale multimedia retrieval due to the storage and retrieval efficiency. Cross-modal hashing enables efficient retrieval from database of one modality in response to a query of another modality. Existing work on cross-modal hashing assumes heterogeneous relationship across modalities for hash function learning. In this paper, we relax the strong assumption by only requiring such heterogeneous relationship in an auxiliary dataset different from the query/database domain. We craft a hybrid deep architecture to simultaneously learn the cross-modal correlation from the auxiliary dataset, and align the dataset distributions between the auxiliary dataset and the query/database domain, which generates transitive hash codes for heterogeneous multimedia retrieval. Extensive experiments exhibit that the proposed approach yields state of the art multimedia retrieval performance on public datasets, i.e. NUS-WIDE, ImageNet-YahooQA.

연구 동기 및 목표

• 쿼리와 데이터베이스 모달 간의 직접적 관계가 존재하지 않을 경우 교차 모달 다중미디어 검색의 과제를 해결한다.
• 보조 데이터셋을 통해 이행적 관계를 학습함으로써, 예를 들어 ImageNet과 YahooQA와 같은 다른 데이터 분포 간의 효과적인 검색을 가능하게 한다.
• 엔드 투 엔드 분포 정합을 통해 보조 데이터셋과 타겟 데이터셋 간의 도메인 이동 문제를 완화한다.
• 교차 모달 상관관계를 동시에 학습하고 양자화 오차를 최소화하여 압축된 이진 코드를 생성하는 통합적인 딥 러닝 프레임워크를 개발한다.

제안 방법

• 이질적인 관계 학습을 가능하게 하는 하이브리드 딥 신경망을 설계하며, 예를 들어 이미지-텍스트 쌍이 포함된 플리커 유사 데이터셋에서 유래한 보조 데이터셋을 활용한다.
• 최대 평균 차이(MMD) 기반의 동일한 분포 정합 모듈을 통합하여 보조 데이터셋과 타겟 쿼리/데이터베이스 도메인 간의 도메인 이동을 감소시킨다.
• 쌍별 교차 엔트로피 손실(모달 상관관계), MMD(분포 정합), 이진화 오차를 최소화하는 쌍별 양자화 손실을 포함하는 다성분 손실을 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 이미지 표현을 위해 딥 컨volution 네트워크를, 텍스트 표현을 위해 다층 퍼셉트론을 사용하여 다양한 모달 간의 효과적인 특징 학습을 가능하게 한다.
• 이행적 정합을 통해 다양한 모달과 도메인 간에 의미적 유사성을 유지하는 압축된 이진 해시 코드를 생성한다.
• 상관관계, 정합, 양자화 목표를 통합한 복합 손실 함수를 사용하여 백프로파게이션을 통해 전체 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 직접적인 교차 모달 연결이 존재하지 않을 경우, 딥 해싱 모델이 쿼리와 데이터베이스 모달 간의 이행적 관계를 학습할 수 있는가?
• RQ2 이미지-텍스트 관계가 알려진 보조 데이터셋이 교차 도메인 검색을 얼마나 효과적으로 가능하게 하는가?
• RQ3 다른 도메인에서 온 데이터셋 간을 연결할 때, 도메인 분포 정합이 검색 성능 향상에 얼마나 기여하는가?
• RQ4 각 구성 요소(상관관계 학습, 분포 정합, 양자화 손실)가 전체 검색 성능에 기여하는 비율은 어느 정도인가?

주요 결과

• THN은 NUS-WIDE 및 ImageNet-YahooQA 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, DCMH를 포함한 기존 방법들을 능가한다.
• ImageNet-YahooQA에서 THN은 이미지에서 텍스트로의 검색 시 5.03%, 텍스트에서 이미지로의 검색 시 6.91%의 평균 평균 정밀도(MAP) 향상을 기록하며 DCMH를 초월한다.
• 제거 실험 결과, 상관관계 학습을 위한 쌍별 교차 엔트로피 손실이 내적 곱 손실(THN-ip) 대비 24%p 이상의 절대 MAP 향상을 기여함을 확인하였다.
• 비지도 학습 데이터를 제거한 경우(THN-D), MAP가 4.06–6.09% 감소하여, 비지도 데이터를 활용한 도메인 적응의 가치를 입증하였다.
• 양자화 손실을 제외한 경우(THN-Q), MAP가 각각 5.83%와 4.20% 감소하여, 이는 이 손실 항목이 이진화 오차를 최소화하는 데 핵심적인 역할을 함을 확인하였다.
• 정밀도-재현율 곡선 분석 결과, 24비트 코드에서 THN은 모든 재현율 수준에서 가장 높은 정밀도를 보이며, 다양한 검색 임계값에서의 강건성과 효과성을 입증하였다.