[논문 리뷰] Unsupervised Generative Adversarial Cross-modal Hashing

Jian Zhang, Yuxin Peng외 1명|arXiv (Cornell University)|2017. 12. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 20인용 수 14

한 줄 요약

이 논문은 레이블이 없는 데이터를 요구하지 않고 교차 모odal 데이터의 다양체 구조를 모델링하기 위해 적대적 훈련과 상관관계 그래프를 활용하는 새로운 GAN 기반 접근법인 비지도 생성 적대적 교차 모달 해싱(UGACH)을 제안한다. UGACH는 NUS-WIDE 및 MIRFlickr 데이터셋에서 비지도 및 지도 학습 방법을 모두 초월하는 최고의 검색 정확도를 달성하며, 각각 MAP 점수 0.624와 0.625를 기록한다.

ABSTRACT

Cross-modal hashing aims to map heterogeneous multimedia data into a common Hamming space, which can realize fast and flexible retrieval across different modalities. Unsupervised cross-modal hashing is more flexible and applicable than supervised methods, since no intensive labeling work is involved. However, existing unsupervised methods learn hashing functions by preserving inter and intra correlations, while ignoring the underlying manifold structure across different modalities, which is extremely helpful to capture meaningful nearest neighbors of different modalities for cross-modal retrieval. To address the above problem, in this paper we propose an Unsupervised Generative Adversarial Cross-modal Hashing approach (UGACH), which makes full use of GAN's ability for unsupervised representation learning to exploit the underlying manifold structure of cross-modal data. The main contributions can be summarized as follows: (1) We propose a generative adversarial network to model cross-modal hashing in an unsupervised fashion. In the proposed UGACH, given a data of one modality, the generative model tries to fit the distribution over the manifold structure, and select informative data of another modality to challenge the discriminative model. The discriminative model learns to distinguish the generated data and the true positive data sampled from correlation graph to achieve better retrieval accuracy. These two models are trained in an adversarial way to improve each other and promote hashing function learning. (2) We propose a correlation graph based approach to capture the underlying manifold structure across different modalities, so that data of different modalities but within the same manifold can have smaller Hamming distance and promote retrieval accuracy. Extensive experiments compared with 6 state-of-the-art methods verify the effectiveness of our proposed approach.

연구 동기 및 목표

• 기존의 비지도 교차 모달 해싱 방법이 모달 간 잠재적인 다양체 구조를 忽시하는 한계를 해결하기 위해.
• 교차 모달 데이터 관계를 더 잘 포착하기 위해 생성 적대적 네트워크(GANs)를 활용한 비지도 표현 학습을 위해.
• 공통 해밍 거리 공간에서 이질적 상관관계와 내부 다양체 근접성을 모두 모델링하여 검색 정확도를 향상시키기 위해.
• 비용이 많이 드는 인간 주석 기반 의미적 레이블이 필요 없이도 지도 학습 방법과 비교할 만한 성능을 달성하기 위해.

제안 방법

• 생성자(generator)는 한 모달리티의 다양체 분포를 적합시키고, 다른 모달리티에서 유의미한 샘플을 생성하여 판별자(discriminator)를 시험하게 하는 생성 적대적 네트워크를 설계한다.
• 판별자는 상관관계 그래프에서 유래한 진짜 데이터와 생성된 데이터를 구별하도록 훈련되어, 의미 있는 이질적 상관관계와 다양체 상관관계를 유지하는 능력을 향상시킨다.
• 다양체의 잠재적 구조를 인코딩하기 위해 상관관계 그래프를 구성하여, 의미적으로 유사한 교차 모달 데이터 간의 해밍 거리가 작아지도록 보장한다.
• 생성자와 판별자를 적대적 방식으로 공동으로 훈련시켜 해싱 함수 학습과 검색 성능을 향상시킨다.
• 모든 모달리티 전용 특징이 공통 이진 코드 공간으로 투영되는 공유 임bedding 공간을 사용하여 효율적인 해밍 거리 계산을 가능하게 한다.
• 학습률 감소 전략을 사용하여 엔드 투 엔드로 모델을 훈련시키고, 확률적 경사 하강법을 사용해 최적화한다.

실험 결과

연구 질문

• RQ1 비지도 설정에서 적대적 훈련이 교차 모달 데이터 다양체 구조를 효과적으로 모델링할 수 있는가?
• RQ2 상관관계 그래프를 통해 다양체 구조를 통합할 경우 교차 모달 검색 정확도가 어떻게 향상되는가?
• RQ3 레이블이 없는 조건에서 GAN 기반 비지도 접근법이 지도 학습 방법과 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 방법이 벤치마크 데이터셋에서 기존의 비지도 교차 모달 해싱 기법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• NUS-WIDE 데이터셋에서 UGACH는 이미지-텍스트 작업에서 최고의 평균 평균 정밀도(MAP) 0.624를 기록했고, 텍스트-이미지 작업에서는 0.625를 기록했다.
• MIRFlickr 데이터셋에서 UGACH는 모든 평가 지표에서 비교된 비지도 및 지도 학습 방법을 모두 초월하는 최고 수준의 성능을 달성했다.
• NUS-WIDE의 이미지-텍스트 작업에서 최고의 비지도 방법인 CCQ에 비해 MAP가 0.119 향상되었고, 텍스트-이미지 작업에서는 0.131 향상되었다.
• 지도 학습 방법인 SCM_seq에 비해 이미지-텍스트 작업에서 평균 MAP가 0.107 향상되었고, 텍스트-이미지 작업에서는 0.109 향상되었다.
• 제거 분석 결과, GAN 구성요소와 상관관계 그래프 모두 기준선 GAN에 비해 각각 0.037과 0.034의 향상 기여를 확인했다.
• Top-K 정밀도 및 정밀도-재현율 곡선은 두 데이터셋에서 모든 K 값과 재현율 수준에서 UGACH가 모든 기준선을 일관되게 능가함을 보여주었다.