[논문 리뷰] Cross-modal Common Representation Learning by Hybrid Transfer Network

Xin Huang, Yuxin Peng외 1명|arXiv (Cornell University)|2017. 06. 01.

Multimodal Machine Learning Applications참고 문헌 15인용 수 14

한 줄 요약

이 논문은 단일 모odal 데이터셋(예: ImageNet)에서 크로스모달 검색 작업(예: 이미지-텍스트 검색)으로 지식을 전이하는 통합 딥러닝 프레임워크인 크로스모달 하이브리드 전이 네트워크(CHTN)를 제안한다. 이는 모달 공유 전이와 레이어 공유 상관관계 학습을 동시에 활용하여 이루어진다. CHTN은 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, NUS-WIDE-10k에서 최대 mAP 0.518을 기록하였다.

ABSTRACT

DNN-based cross-modal retrieval is a research hotspot to retrieve across different modalities as image and text, but existing methods often face the challenge of insufficient cross-modal training data. In single-modal scenario, similar problem is usually relieved by transferring knowledge from large-scale auxiliary datasets (as ImageNet). Knowledge from such single-modal datasets is also very useful for cross-modal retrieval, which can provide rich general semantic information that can be shared across different modalities. However, it is challenging to transfer useful knowledge from single-modal (as image) source domain to cross-modal (as image/text) target domain. Knowledge in source domain cannot be directly transferred to both two different modalities in target domain, and the inherent cross-modal correlation contained in target domain provides key hints for cross-modal retrieval which should be preserved during transfer process. This paper proposes Cross-modal Hybrid Transfer Network (CHTN) with two subnetworks: Modal-sharing transfer subnetwork utilizes the modality in both source and target domains as a bridge, for transferring knowledge to both two modalities simultaneously; Layer-sharing correlation subnetwork preserves the inherent cross-modal semantic correlation to further adapt to cross-modal retrieval task. Cross-modal data can be converted to common representation by CHTN for retrieval, and comprehensive experiment on 3 datasets shows its effectiveness.

연구 동기 및 목표

• 딥 크로스모달 검색에서 부족한 크로스모달 훈련 데이터 문제를 해결한다.
• 대규모 단일 모달 소스 도메인(예: ImageNet)에서 크로스모달 타겟 도메인(예: 이미지-텍스트)으로 효과적인 지식 전이를 가능하게 한다.
• 지식 전이 과정에서 내재된 크로스모달 의미적 상관관계를 유지하여 검색 성능을 향상시킨다.
• 동시에 단일 모달 지식 전이와 크로스모달 상관관계 학습을 수행할 수 있는 통합 아키텍처를 개발한다.
• 다양한 크로스모달 데이터셋에서 검색 정확도 향상에 기여하는 하이브리드 전이의 효과를 입증한다.

제안 방법

• 두 스트림 딥 네트워크를 갖춘 두 개의 서브넷(모달 공유 전이 서브넷 및 레이어 공유 상관관계 서브넷)을 제안한다.
• 소스 도메인과 타겟 도메인 양쪽에서 공통된 모달(예: 이미지)을 브리지로 활용하여 이미지 및 텍스트 모달 양쪽으로 동시에 지식을 전이한다.
• 소스 도메인의 고수준 의미적 특징과 타겟 도메인(이미지-텍스트)의 특징을 정렬하기 위해 소스 감독 손실을 도입한다.
• 이미지 및 텍스트 스트림의 최종 완전 연결 층을 연결하여 크로스모달 의미적 관계를 유지하는 레이어 공유 상관관계 서브넷을 구현한다.
• 쌍별 공존 및 의미적 상관관계 신호를 사용하여 공유 표현 공간을 학습하기 위해 엔드 투 엔드로 모델을 훈련시킨다.
• 크로스모달 유사도와 소스 도메인 지식 전이를 공동 최적화하여 특징 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 단일 모달 데이터셋(예: ImageNet)에서의 지식이 크로스모달 검색 성능 향상에 효과적으로 전이될 수 있는가?
• RQ2 지식 전이 과정에서 타겟 도메인의 내재된 크로스모달 의미적 상관관계를 어떻게 유지할 수 있는가?
• RQ3 단일 모달 전이와 크로스모달 상관관계 학습이 검색 정확도 향상에 기여하는 상대적 기여도는 각각 얼마인가?
• RQ4 통합 아키텍처가 동시에 모달 브리징 지식 전이와 크로스모달 상관관계 학습을 수행할 수 있는가?
• RQ5 제안된 하이브리드 전이 메커니즘이 표준 크로스모달 검색 벤치마크에서 기존 최신 기술 수준 방법들을 초월하는가?

주요 결과

• 위키백과 데이터셋에서 CHTN은 0.508의 최고 mAP를 기록하여 비교한 10개의 최신 기술 수준 방법들 모두를 능가하였다.
• NUS-WIDE-10k 데이터셋에서 CHTN은 mAP 0.518을 기록하여 비교한 모든 방법들 중에서 가장 높은 성능을 보이며 강력한 일반화 능력을 입증하였다.
• Pascal Sentences 데이터셋에서 CHTN은 mAP 0.472를 기록하여 이어지는 최고 성능 방법(CMDN)보다 0.016 mAP 높게 기록하였다.
• 제거 실험 결과, 레이어 공유 상관관계 서브넷을 제거한 CHTN (NoShare)는 평균 mAP가 0.017 감소하여 그 중요성을 확인하였다.
• 소스 도메인 감독을 제거한 CHTN (NoSrcSp)는 평균 mAP가 0.025 감소하여 소스 지식이 중요한 의미적 사전 지식을 제공한다는 것을 시사하였다.
• 모달 공유 전이 서브넷의 기여도는 명확히 드러났으며, CHTN (OnlyCross)와 CHTN (NoShare)를 비교한 결과 mAP가 0.021 향상되어 지식 전파에 있어 그 가치를 입증하였다.