[논문 리뷰] Scientific and Technological Information Oriented Semantics-adversarial and Media-adversarial Cross-media Retrieval

Ang Li, Junping Du외 5명|arXiv (Cornell University)|2022. 03. 16.

Advanced Image and Video Retrieval Techniques인용 수 13

한 줄 요약

이 논문은 과학적 및 기술적 정보를 위한 새로운 크로스미디어 검색 프레임워크인 SMCR를 제안한다. 이는 의미적 일관성과 미디어 불변 표현 학습을 의미적 적대적 및 미디어 적대적 훈련을 통해 향상시킨다. 상호 미디어 의미 일관성과 내부 의미의 미디어 구분을 함께 최적화함으로써, SMCR는 두 개의 벤치마크 데이터셋에서 최신 기술(SOTA)을 초월하여 텍스트-이미지 및 이미지-텍스트 검색 작업에서 뛰어난 mAP 점수를 달성한다.

ABSTRACT

Cross-media retrieval of scientific and technological information is one of the important tasks in the cross-media study. Cross-media scientific and technological information retrieval obtain target information from massive multi-source and heterogeneous scientific and technological resources, which helps to design applications that meet users' needs, including scientific and technological information recommendation, personalized scientific and technological information retrieval, etc. The core of cross-media retrieval is to learn a common subspace, so that data from different media can be directly compared with each other after being mapped into this subspace. In subspace learning, existing methods often focus on modeling the discrimination of intra-media data and the invariance of inter-media data after mapping; however, they ignore the semantic consistency of inter-media data before and after mapping and media discrimination of intra-semantics data, which limit the result of cross-media retrieval. In light of this, we propose a scientific and technological information oriented Semantics-adversarial and Media-adversarial Cross-media Retrieval method (SMCR) to find an effective common subspace. Specifically, SMCR minimizes the loss of inter-media semantic consistency in addition to modeling intra-media semantic discrimination, to preserve semantic similarity before and after mapping. Furthermore, SMCR constructs a basic feature mapping network and a refined feature mapping network to jointly minimize the media discriminative loss within semantics, so as to enhance the feature mapping network's ability to confuse the media discriminant network. Experimental results on two datasets demonstrate that the proposed SMCR outperforms state-of-the-art methods in cross-media retrieval.

연구 동기 및 목표

• 기존 크로스미디어 검색 방법이 미디어 간 의미 일관성과 의미 내에서의 미디어 구분을 간과하는 한계를 해결하기 위해.
• 매핑 후 상호 미디어 데이터가 의미적으로 유사성을 유지하는 공통 의미 공간을 학습함으로써 검색 성능을 향상시키기 위해.
• 내부 미디어 구분 및 내부 의미의 미디어 구분 손실을 동시에 최소화함으로써 특징 표현을 향상시키기 위해.
• 과학적 및 기술적 정보 검색 뿐 아니라 일반적인 크로스미디어 작업에도 효과적인 강건하고 일반화 가능한 모델을 개발하기 위해.

제안 방법

• SMCR는 두 가지 주요 네트워크를 갖는 최소-최대 적대적 프레임워크를 사용한다: 특징 매핑 네트워크와 미디어 구분 네트워크.
• 특징 매핑 네트워크는 미디어 내에서 구분 가능하고, 미디어 간에 일관되며, 의미 내에서 구분 가능한 표현을 학습한다.
• 상호 미디어 의미 일관성 손실($L_{imi}$)은 공유 부분공간으로 매핑된 후에도 쌍체의 크로스미디어 샘플(예: 이미지-텍스트) 간의 의미 유사성이 유지되도록 보장한다.
• 내부 의미의 미디어 구분 손실($L_{con}$)은 동일한 모odal에서 의미적으로 유사한 샘플이 공유 공간에서 가까이 위치하도록 유도하면서도, 미디어 구분자에 의해 혼동당하도록 유도한다.
• 전반적인 손실은 임bedding 손실($L_{emb}$), 내부 미디어 구분 손실($L_{imd}$), 상호 미디어 일관성 손실($L_{imi}$), 내부 의미의 미디어 구분 손실($L_{con}$)을 포함하며, 하이퍼파ram터 $\alpha$와 $\beta$가 이들의 기여도 비율을 조절한다.
• 특징 매핑 네트워크는 의미의 정확성과 불변성을 최적화하도록, 미디어 구분자는 미디어 유형을 구분하도록 훈련되는 엔드 투 엔드로 경사 하강법을 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 상호 미디어 의미 일관성 손실의 포함 여부가 크로스미디어 검색 성능에 어떤 영향을 미치는가?
• RQ2 내부 의미의 미디어 구분 손실이 특징 표현과 검색 정확도 향상에 얼마나 기여하는가?
• RQ3 SMCR 모델이 손실 기여도를 조절하는 하이퍼파ram터($\alpha$와 $\beta$) 설정에 얼마나 민감한가?
• RQ4 SMCR는 과학적 및 기술적 정보 검색을 넘어 일반적인 크로스미디어 작업으로 일반화되는가?
• RQ5 다양한 검색 지표 하에서 SMCR가 최신 기술(SOTA) 방법을 초월할 수 있는가?

주요 결과

• SMCR는 위키백과 데이터셋에서 텍스트-이미지 검색 작업에서 mAP 0.7014, 이미지-텍스트 검색 작업에서 mAP 0.5059를 기록했으며, 평균 mAP는 0.6036을 달성했다.
• 상호 미디어 일관성 손실($L_{imi}$)이 제거된 SMCR의 변종은 평균 mAP 0.5951을 기록하여, $L_{imi}$가 성능 향상에 상당히 기여한다는 것을 입증한다.
• 내부 의미의 미디어 구분 손실($L_{con}$)이 제거된 변종은 평균 mAP 0.5922를 기록하여, $L_{con}$이 특징 구분 능력을 향상시키는 데 중요한 역할을 한다는 것을 확인한다.
• SMCR는 하이퍼파ram터 변화에 대해 강건하며, 텍스트-이미지 검색에서는 $\alpha=0.1, \beta=0.1$, 이미지-텍스트 검색에서는 $\alpha=1, \beta=1$에서 최적 성능을 기록한다.
• 모델은 사이언스테크데이리 및 위키백과 데이터셋 모두에서 뛰어난 성능을 유지하여, 도메인 특화 데이터를 초월한 일반화 능력을 보여준다.
• 제거 실험 결과, $L_{imi}$와 $L_{con}$을 동시에 최적화할 경우 개별 최적화보다 더 좋은 성능을 내며, 이들이 검색 정확도 향상에 상호 보완적인 역할을 한다는 것을 입증한다.