[논문 리뷰] Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval

Yale Song, Mohammad Soleymani|arXiv (Cornell University)|2019. 06. 11.

Multimodal Machine Learning Applications참고 문헌 57인용 수 22

한 줄 요약

이 논문은 다중 헤드 자기주의 어텐션과 잔차 학습을 사용하여 모호한 시각적 및 텍스트적 인스턴스에 대해 다양한 맥락 인식 표현을 생성하는 일대다 인스턴스 임베딩 프레임워크인 다의어 시각-의미 임베딩(PVSE)을 제안한다. 다의어 인스턴스 임베딩 네트워크(PIE-Nets) 두 개를 다중 인스턴스 학습(MIL) 프레임워크에 묶고, 최대 평균 차이(MMD)로 정규화하여, 부분적인 연관성과 다의어성에 대한 강건성을 향상시킨다. 이는 이미지-텍스트 및 비디오-텍스트 검색에서 최신 기술 수준의 성능을 달성하며, MS-COCO, TGIF, 그리고 새로운 50K 비디오-문장 데이터셋(MRW)에서 성능을 냅니다.

ABSTRACT

Visual-semantic embedding aims to find a shared latent space where related visual and textual instances are close to each other. Most current methods learn injective embedding functions that map an instance to a single point in the shared space. Unfortunately, injective embedding cannot effectively handle polysemous instances with multiple possible meanings; at best, it would find an average representation of different meanings. This hinders its use in real-world scenarios where individual instances and their cross-modal associations are often ambiguous. In this work, we introduce Polysemous Instance Embedding Networks (PIE-Nets) that compute multiple and diverse representations of an instance by combining global context with locally-guided features via multi-head self-attention and residual learning. To learn visual-semantic embedding, we tie-up two PIE-Nets and optimize them jointly in the multiple instance learning framework. Most existing work on cross-modal retrieval focuses on image-text data. Here, we also tackle a more challenging case of video-text retrieval. To facilitate further research in video-text retrieval, we release a new dataset of 50K video-sentence pairs collected from social media, dubbed MRW (my reaction when). We demonstrate our approach on both image-text and video-text retrieval scenarios using MS-COCO, TGIF, and our new MRW dataset.

연구 동기 및 목표

• 다중 의미를 가진 인스턴스를 다룰 수 있도록 기존의 단사성 시각-의미 임베딩의 한계를 해결한다.
• 텍스트 설명이 이미지나 비디오의 일부만 다루는 부분적인 다중 모달 연관성 문제를 해결한다.
• 각 인스턴스에 대해 다수의 다양한 표현을 생성하여 모호한 의미를 더 잘 포착할 수 있는 방법을 개발한다.
• 불확실성과 부분적 정렬을 모델링하여 이미지-텍스트 및 비디오-텍스트 작업의 검색 성능을 향상시킨다.
• 소셜 미디어에서 수집한 새로운 50K 비디오-문장 데이터셋(MRW)을 공개하여 비디오-텍스트 검색 분야의 연구를 촉진한다.

제안 방법

• 다중 헤드 자기주의 어텐션을 사용하여 서로 다른 국소 영역이나 프레임에 주의를 기울이며, 입력마다 K개의 다양한 표현을 생성하는 다의어 인스턴스 임베딩 네트워크(PIE-Nets)를 제안한다.
• 잔차 학습을 통해 각 국소 표현을 전역 맥락 임베딩과 결합하여 유용한 특징를 유지하고 중복을 방지한다.
• K개의 표현이 단일 평균 또는 모드로 붕괴되는 것을 방지하기 위해 다양성 정규화 손실을 도입한다.
• 비전용과 텍스트용 두 개의 PIE-Nets를 묶고, 다중 인스턴스 학습(MIL) 프레임워크에서 공동으로 학습한다. 이 경우 K×K 임베딩 쌍 중 하나만 잘 정렬되어도 된다.
• 최대 평균 차이(MMD)를 적용하여 시각적 및 텍스트적 임베딩 공간 간의 분포 차이를 최소화하여 정렬의 강건성을 향상시킨다.
• MIL의 완화된 대비 손실과 MMD 정규화를 사용하여 전체 모델을 엔드 투 엔드로 최적화하여, 모호하고 부분적인 연관성에 대응한다.

실험 결과

연구 질문

• RQ1 기존의 단사성 매핑에 비해 일대다 임베딩 접근 방식이 다의어 시각적 및 텍스트적 인스턴스를 더 잘 표현할 수 있는가?
• RQ2 다양한 표현을 모델링할 경우 부분적 또는 암묵적인 다중 모달 연관성 하에서 어떻게 다중 모달 검색 성능이 향상되는가?
• RQ3 제안된 MIL 기반 학습 목표가 모호한 검색 시나리오에서 표준 대비 손실 학습보다 얼마나 뛰어나게 성능을 높이는가?
• RQ4 다중 헤드 자기주의 어텐션과 잔차 학습의 통합이 시각-의미 임베딩의 표현 품질을 어떻게 향상시키는가?
• RQ5 제안된 방법이 특히 연관성이 암묵적이거나 모호한 경우에도 어려운 비디오-텍스트 검색 작업에 일반화 가능한가?

주요 결과

• PVSE는 MS-COCO 데이터셋을 사용하여 이미지-텍스트 검색에서 최신 기술 수준의 성능을 달성하였으며, R@1 및 R@5 지표에서 이전 방법들을 능가한다.
• TGIF 비디오-텍스트 검색 벤치마크에서 PVSE는 비디오 콘텐츠의 시간적 및 의미적 변동성을 효과적으로 포착하여 뛰어난 성능을 보였다.
• 소셜 미디어에서 수집한 50K 비디오-문장 쌍으로 구성된 제안된 MRW 데이터셋은 각 쿼리에 대해 다수의 타당한 매칭이 존재하는 높은 모호성을 드러냈다.
• 정성적 분석 결과, PVSE의 시각적 및 텍스트적 어텐션 맵은 주목할 만한 영역과 단어를 강조하며, 검색 결과가 어텐션 패tern과 일치함을 보였다.
• 모델이 부분적으로만 의미가 일치하는 비디오나 문장에서도 관련 결과를 검색할 수 있다는 점에서, 부분적 연관성에 대한 강건성이 검증되었다.
• MMD 정규화의 사용은 시각적 및 텍스트적 임베딩 공간 간의 분포 차이를 크게 감소시켜 일반화 능력과 정렬 품질을 향상시켰다.