[논문 리뷰] Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

Chao Li, Cheng Deng외 4명|arXiv (Cornell University)|2018. 04. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 14인용 수 53

한 줄 요약

SSAH는 두 개의 적대적 네트워크를 통해 자기지도(Self-Supervised) 의미 학습을 도입하여 이미지/텍스트 해시 코드를 공동으로 학습하고 벤치마크에서 Cross-Modal 검색의 최첨단을 달성합니다.

ABSTRACT

Thanks to the success of deep learning, cross-modal retrieval has made significant progress recently. However, there still remains a crucial bottleneck: how to bridge the modality gap to further enhance the retrieval accuracy. In this paper, we propose a self-supervised adversarial hashing ( extbf{SSAH}) approach, which lies among the early attempts to incorporate adversarial learning into cross-modal hashing in a self-supervised fashion. The primary contribution of this work is that two adversarial networks are leveraged to maximize the semantic correlation and consistency of the representations between different modalities. In addition, we harness a self-supervised semantic network to discover high-level semantic information in the form of multi-label annotations. Such information guides the feature learning process and preserves the modality relationships in both the common semantic space and the Hamming space. Extensive experiments carried out on three benchmark datasets validate that the proposed SSAH surpasses the state-of-the-art methods.

연구 동기 및 목표

• 교차 모달 검색에서 모달리티 간 간극을 줄이고 상관관계가 있는 고차원 특징과 이진 해시 코드를 학습한다.
• 셀프-슈퍼바이즈드 의미 학습을 통합하여 다중 라벨 정보를 발견하고 교차 모달 표현 학습을 안내한다.
• 두 개의 적대적 네트워크를 활용하여 모달리티 간 의미 상관관계 및 분포 일관성을 극대화한다.
• 벤치마크 데이터셋에서 최신 크로스-모달 해싱 방법과 비교하여 우수한 성능을 증명한다.

제안 방법

• 세 부분으로 구성된 아키텍처: LabNet(자기지도 의미 생성), ImgNet(이미지 해싱), TxtNet(텍스트 해싱).
• 두 개의 적대적 구분기가 의미 특징과 모달리티 특이 특징 간의 분포 정렬을 강제한다.
• LabNet을 통한 자기지도 의미 지도를 통해 ImgNet과 TxtNet를 공유된 의미 표현 및 해시 코드로 감독한다.
• 생성 손실과 적대 손실을 함께 최적화하고 이진화 및 분류 제약을 통해 B^{v,t,l}를 {-1,1}^K로 생성한다.

실험 결과

연구 질문

• RQ1 자가 지도 의미가 크로스 모달 해싱 성능을 어떻게 개선할 수 있는가?
• RQ2 적대적 학습을 사용해 다중 모달 분포를 정렬하고 공통 공간에서 의미 상관을 보존할 수 있는가?
• RQ3 LabNet과 모달리티-특정 생성기 통합이 벤치마크 전반의 검색 정확도에 어떤 영향을 미치는가?
• RQ4 SSAH가 대규모 데이터셋에서 최첨단 크로스-모달 해싱 방법과 비교했을 때 어떤 성능을 보이는가?
• RQ5 프레임워크가 두 모달리티를 넘어서 확장 가능하고 보이지 않는 데이터 포인트에 적용 가능한가?

주요 결과

• SSAH는 MIRFLICKR-25K, NUS-WIDE, MS COCO에서 I→T 및 T→I 작업에 대해 여러 베이스라인보다 더 높은 평균 정확도(MAP)를 달성했다.
• CNN-F 및 vgg19 특징을 사용한 경우 SSAH는 DCMH와 같은 딥러닝 방법을 포함한 베이스라인보다 일관되게 우수한 성능을 보인다.
• SSAH는 얕은 방법 대비 유의미한 MAP 증가를 보여주고 DCMH에 비해 경쟁력 있는 향상을 통해 자기지도 적대적 프레임워크의 효과를 검증한다.
• 자기지도 의미 네트워크(LabNet)의 ablation 연구가 성능을 크게 향상시키며, 적대 학습이 모달리티 간 격차를 좁히는 데 기여한다.
• SSAH 학습은 DCMH보다 더 효율적이며 보고된 실험에서 약 한 차례의 학습 시간 단축을 보인다.