[논문 리뷰] Cross-Modal Retrieval with Implicit Concept Association

Yale Song, Mohammad Soleymani|arXiv (Cornell University)|2018. 04. 12.

Multimodal Machine Learning Applications참고 문헌 37인용 수 8

한 줄 요약

이 논문은 문맥적 개념 연관(예: GIF에서의 정서적 반응)이 명시적으로 제시되지 않고 추론되어야 하는 음성 간 검색을 소개한다. 저자들은 각 모odal별로 다수의 개념 특화 임베딩을 생성하고, 모든 조합 간의 유사도를 계산하는 다중 예외 학습 기반 시각-언어 임베딩 네트워크(MiViSE)를 제안하며, 새로운 47K개의 반응 GIF-문장 데이터셋(MRW)에서 최신 기술 수준의 성능을 달성하였다. Corr-AE 및 DeViSE와 같은 기존 방법들을 능가한다.

ABSTRACT

Traditional cross-modal retrieval assumes explicit association of concepts across modalities, where there is no ambiguity in how the concepts are linked to each other, e.g., when we do the image search with a query "dogs", we expect to see dog images. In this paper, we consider a different setting for cross-modal retrieval where data from different modalities are implicitly linked via concepts that must be inferred by high-level reasoning; we call this setting implicit concept association. To foster future research in this setting, we present a new dataset containing 47K pairs of animated GIFs and sentences crawled from the web, in which the GIFs depict physical or emotional reactions to the scenarios described in the text (called "reaction GIFs"). We report on a user study showing that, despite the presence of implicit concept association, humans are able to identify video-sentence pairs with matching concepts, suggesting the feasibility of our task. Furthermore, we propose a novel visual-semantic embedding network based on multiple instance learning. Unlike traditional approaches, we compute multiple embeddings from each modality, each representing different concepts, and measure their similarity by considering all possible combinations of visual-semantic embeddings in the framework of multiple instance learning. We evaluate our approach on two video-sentence datasets with explicit and implicit concept association and report competitive results compared to existing approaches on cross-modal retrieval.

연구 동기 및 목표

• 문자와 시각 콘텐츠 간의 의미적 연관성이 명시적이지 않고 고수준의 추론이 필요한 상황에서 음성 간 검색을 다루는 것.
• 애니메이티드 GIF과 정서적 또는 신체적 반응을 묘사하는 자연어 문장 쌍 47,000개로 구성된 새로운 벤치마크 데이터셋인 MRW(My Reaction When)를 소개하는 것.
• 각 모달리티에서 다수의 암묵적 개념을 포착하고, 다중 예외 학습을 통해 그 유사도를 측정할 수 있는 새로운 시각-언어 임베딩 모델을 개발하는 것.
• 사람들이 암묵적 연관성에 기반하여 일치하는 텍스트-GIF 쌍을 신뢰성 있게 식별할 수 있음을 입증하여 제안된 작업의 타당성을 검증하는 것.

제안 방법

• 각 모달리티의 다수의 임베딩 조합 간의 유사도를 계산하는 다중 예외 학습(MIL) 기반의 시각-언어 임베딩 네트워크(MiViSE)를 제안한다.
• 자기 어텐션 메커니즘을 사용해 각 모달리티에 대해 다수의 임베딩을 생성하며, 각 임베딩이 입력 시퀀스의 다른 부분에 주의를 기울여 별개의 암묵적 개념을 포착한다.
• 공유 가중치를 가진 시아미즈 네트워크 아키텍처를 사용해 텍스트 및 비디오 입력을 동일한 임베딩 공간에 매핑함으로써 코사인 유사도를 통한 비교를 가능하게 한다.
• 대응하는 텍스트-GIF 쌍 간의 거리를 최소화하고, 비일치하는 쌍 간의 거리를 최대화하기 위해 대비 손실(contrastive loss)을 사용해 모델을 훈련시킨다.
• 사전 훈련된 특징을 활용한다: 비디오 프레임에는 ResNet-50, 텍스트 시퀀스에는 GloVe 임베딩과 Bi-LSTM를 사용한다.
• 어떤 단어나 비디오 프레임이 매칭 결정에 가장 기여하는지 시각화하기 위해 어텐션 맵을 도입하여 해석 가능성(interpretability)을 제공한다.

실험 결과

연구 질문

• RQ1 암묵적인 연관성과 고수준의 추론이 필요한 상황에서 사람들은 일치하는 텍스트-GIF 쌍을 신뢰성 있게 식별할 수 있는가?
• RQ2 다수의 임베딩과 MIL을 적용한 제안된 MiViSE 모델은 암묵적 연관성 하에서 기존의 상관관계 기반 및 트리플릿 랭킹 방법과 비교해 음성 간 검색 성능에서 어떻게 성과를 내는가?
• RQ3 다수의 임베딩과 어텐션 메커니즘이 암묵적 개념 검색에서 정렬과 성능 향상에 어떤 역할을 하는가?
• RQ4 모델은 다양한 종류의 반응 GIF(예: 정서적, 신체적, 어휘적)에 대해 얼마나 일반화되는가?
• RQ5 암묵적 및 명시적 개념 연관성을 모두 포함한 데이터셋에서 모델의 성능은 어떠한가? 성공 요인은 무엇인가?

주요 결과

• 사용자 연구를 통해 사람들은 암묵적 연관성에 기반한 일치하는 텍스트-GIF 쌍을 신뢰성 있게 식별할 수 있었으며, 50.7%의 거짓 양성률을 보이며 작업의 타당성을 입증하였다.
• 제안된 MiViSE 모델은 TGIF(명시적 연관성) 및 MRW(암묵적 연관성) 데이터셋 모두에서 Corr-AE, DCCA, DeViSE 등의 베이스라인 방법을 능가하였다.
• 모달리티 별로 다수의 임베딩을 사용함으로써 성능 향상이 뚜렷하게 나타났으며, 어텐션 맵을 통해 각 임베딩이 서로 다른 단어나 시각적 프레임에 집중하는 것으로 확인되었다.
• 어텐션 시각화 결과, 서로 다른 임베딩이 비디오 컨텍스트에 따라 다른 암묵적 개념을 포착함을 확인했다. 예를 들어, '부끄러움'과 '애정' 등.
• 모델는 정서적, 신체적, 동물, 어휘적 등 다양한 유형의 반응을 처리하는 데 있어 강건성을 보였으며, 어텐션 맵이 텍스트와 비디오의 의미적 내용에 따라 적응함을 확인했다.
• 제거 실험(ablation studies) 결과, 다수의 임베딩과 MIL 프레임워크 모두 성능 향상에 필수적이며, 각 구성 요소가 독립적으로 최종 성과에 기여하는 것으로 나타났다.