[논문 리뷰] Consensus-Aware Visual-Semantic Embedding for Image-Text Matching

Haoran Wang, Ying Zhang외 3명|arXiv (Cornell University)|2020. 07. 17.

Multimodal Machine Learning Applications참고 문헌 48인용 수 17

한 줄 요약

이 논문은 대규모 캡션 코퍼스에서 의미 개념의 통계적 동시출현을 통해 공통지식을 통합함으로써 이미지-텍스트 매칭을 향상시키는 새로운 프레임워크인 일관성 인식 시각-의미 임베딩(CVSE)을 제안한다. 일관성 인식 개념(CAC) 표현을 학습하기 위해 개념 상관관계 그래프를 구축함으로써 인스턴스 수준 및 일관성 수준의 특징을 통합하여, 双방향 검색에서 MS-COCO 및 Flickr30k에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Image-text matching plays a central role in bridging vision and language. Most existing approaches only rely on the image-text instance pair to learn their representations, thereby exploiting their matching relationships and making the corresponding alignments. Such approaches only exploit the superficial associations contained in the instance pairwise data, with no consideration of any external commonsense knowledge, which may hinder their capabilities to reason the higher-level relationships between image and text. In this paper, we propose a Consensus-aware Visual-Semantic Embedding (CVSE) model to incorporate the consensus information, namely the commonsense knowledge shared between both modalities, into image-text matching. Specifically, the consensus information is exploited by computing the statistical co-occurrence correlations between the semantic concepts from the image captioning corpus and deploying the constructed concept correlation graph to yield the consensus-aware concept (CAC) representations. Afterwards, CVSE learns the associations and alignments between image and text based on the exploited consensus as well as the instance-level representations for both modalities. Extensive experiments conducted on two public datasets verify that the exploited consensus makes significant contributions to constructing more meaningful visual-semantic embeddings, with the superior performances over the state-of-the-art approaches on the bidirectional image and text retrieval task. Our code of this paper is available at: https://github.com/BruceW91/CVSE.

연구 동기 및 목표

• 기존의 이미지-텍스트 매칭 방법이 외부 공통지식을 활용하지 않고 인스턴스 수준의 정렬에만 의존하는 한계를 해결하기 위해.
• 대규모 캡션 데이터로부터 공유되는 의미 개념과 그 연관성을 활용하여 이미지와 텍스트 간의 고수준 의미 관계를 모델링하기 위해.
• 인스턴스 수준 표현과 일관성 수준 표현을 통합하여 시각-의미 임베딩 품질과 검색 성능을 향상시키기 위해.
• 일관성 지식이 서로 다른 데이터셋(예: MS-COCO에서 Flickr30k로)으로 일반화되는지 검증하기 위해.

제안 방법

• 대규모 이미지 캡션 코퍼스에서 의미 개념을 추출하고, 그들의 통계적 동시출현 빈도를 계산하여 일관성 지식을 모델링한다.
• 동시출현 통계에서 개념 상관관계 그래프를 구축하고, 그래프 컬러레이션 네트워크(GCN)를 사용하여 일관성 인식 개념(CAC) 표현을 학습한다.
• 가중치 하이퍼파ram터 β에 의해 제어되는 학습 가능한 융합 모듈을 통해 CAC 표현을 인스턴스 수준의 이미지 및 텍스트 특징과 융합한다.
• 대체로 대비 손실을 사용하여 통합된 임베딩 공간에서 이미지-텍스트 쌍을 정렬하고, 동시에 인스턴스 수준과 일관성 수준의 의미를 유지하는 방식으로 모델을 엔드 투 엔드로 훈련시킨다.
• t-SNE 시각화를 통해 CAC 표현의 분포와 해석 가능성(word2vec 임베딩과 비교)

실험 결과

연구 질문

• RQ1 대규모 이미지 캡션에서 유도된 일관성 지식이 이미지-텍스트 매칭을 위한 시각-의미 임베딩 향상에 기여하는가?
• RQ2 인스턴스 수준 특징과 일관성 수준 표현의 융합이 검색 성능에 어떤 영향을 미치는가?
• RQ3 일관성 지식이 MS-COCO에서 Flickr30k에 이르기까지 서로 다른 이미지-텍스트 데이터셋 간에 얼마나 일반화되는가?
• RQ4 예측된 일관성 인식 개념 표현은 의미적으로 의미 있고 인간의 공통지식과 일치하는가?

주요 결과

• CVSE는 MS-COCO 및 Flickr30k에서 모두 최신 기술 수준(SOTA) 성능을 달성하였으며, 텍스트 검색 시 R@1이 56.4%, R@10이 89.0%이며, 이미지 검색 시 R@1이 39.9%, R@10이 77.2%를 기록하였다.
• 제거 실험 결과, 인스턴스 수준 특징만 사용하는 경우(CVSE β=1) 또는 일관성 수준 특징만 사용하는 경우(CVSE β=0)는 성능이 열등하여, 두 표현 간의 상호보완성이 확인되었다.
• MS-COCO에서 Flickr30k로의 교차 데이터셋 일반화에서, CVSE는 재현된 SOTA 방법을 포함한 모든 베이스라인을 압도하여, 일관성 지식의 강건성과 이식 가능성(transferability)을 입증하였다.
• 시각화 결과, CAC 표현이 의미 있는 의미적 연관성을 포착하고 있음을 확인하였다. 예를 들어, 'riding'은 'person'과 밀접하게 연결되어 있고, 'plate'는 'eating'과 관련되어 있다. 이는 인간의 공통지식과의 일치를 검증한다.
• 입력 이미지-텍스트 쌍에 명시적으로 포함되지 않은 관련 개념, 예를 들어 서핑 장면에서 'traffic'과 'buildings'를 성공적으로 예측하여, 설명 가능성과 의미의 풍부함을 향상시켰다.