[논문 리뷰] Similarity Reasoning and Filtration for Image-Text Matching

Haiwen Diao, Ying Zhang외 2명|arXiv (Cornell University)|2021. 01. 05.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 벡터 기반 유사성 표현을 학습하고 국소적 및 전반적 정렬에 대해 그래프 컬러이션 네트워크를 사용하여 추론하는 새로운 네트워크인 SGRAF를 제안한다. 유사성 그래프 추론(SGR) 모듈과 유사성 어텐션 필터링(SAF) 모듈을 도입하여 관계 인식 기반의 유사성 추론과 의미 없는 정렬을 억제함으로써, Flickr30K와 MSCOCO에서 최신 기술 수준(SOTA) 성능을 달성하면서도 해석 가능성까지 향상시켰다.

ABSTRACT

Image-text matching plays a critical role in bridging the vision and language, and great progress has been made by exploiting the global alignment between image and sentence, or local alignments between regions and words. However, how to make the most of these alignments to infer more accurate matching scores is still underexplored. In this paper, we propose a novel Similarity Graph Reasoning and Attention Filtration (SGRAF) network for image-text matching. Specifically, the vector-based similarity representations are firstly learned to characterize the local and global alignments in a more comprehensive manner, and then the Similarity Graph Reasoning (SGR) module relying on one graph convolutional neural network is introduced to infer relation-aware similarities with both the local and global alignments. The Similarity Attention Filtration (SAF) module is further developed to integrate these alignments effectively by selectively attending on the significant and representative alignments and meanwhile casting aside the interferences of non-meaningful alignments. We demonstrate the superiority of the proposed method with achieving state-of-the-art performances on the Flickr30K and MSCOCO datasets, and the good interpretability of SGR and SAF modules with extensive qualitative experiments and analyses.

연구 동기 및 목표

• 이미지-텍스트 매칭에서 스칼라 기반 유사성 계산의 한계를 해결하기 위해, 복잡한 정렬 패턴을 포착하지 못하는 문제를 해결한다.
• 국소적 영역-단어 및 전반적 이미지-문장 정렬을 통합된 관계 인식 방식으로 모델링하여 매칭 정확도를 향상시킨다.
• 유사성 집계 과정에서 의미 없는 정렬(예: 정관사)의 간섭을 줄인다.
• 어텐션 기반 메커니즘을 통해 주요 정렬을 시각화하고 분석할 수 있도록 해, 모델의 해석 가능성을 향상시킨다.
• 국소적 및 전반적 정렬을 효과적으로 융합하는 통합 프레임워크를 개발하여 교차 모odal 매칭 성능을 향상시킨다.

제안 방법

• 이미지 영역와 텍스트 조각 간의 교차 모달 연관성을 더 잘 포착하기 위해 스칼라 코사인 유사성 대신 벡터 기반 유사성 표현을 학습한다.
• 유사성 그래프 추론(SGR) 모듈은 그래프 컬러이션 네트워크를 사용하여 국소적 및 전반적 정렬 간의 관계를 모델링하여 관계 인식 기반의 유사성 추론을 가능하게 한다.
• 유사성 어텐션 필터링(SAF) 모듈은 학습 가능한 어텐션 가중치를 적용하여 주요 정렬에만 집중하고 의미 없는 정렬은 억제한다.
• SGR 및 SAF 모듈은 대비 손실을 최적화하여 매칭 점수를 향상시키기 위해 엔드 투 엔드 딥 러닝 프레임워크에 통합된다.
• 프레임워크는 이중 브랜치 인코더를 통해 이미지 및 텍스트 특징를 처리한 후, 유사성 계산 및 결과 정렬 그래프 기반의 추론을 수행한다.
• 최종 매칭 점수는 필터링되고 추론된 유사성의 가중 평균으로 계산되어 강력하고 정확한 이미지-텍스트 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 벡터 기반 유사성 표현이 복잡한 시각-의미 정렬을 포착하는 데 스칼라 코사인 유사성보다 우수한가?
• RQ2 국소적 및 전반적 정렬에 대한 그래프 기반 추론이 단순한 풀링 전략을 초월해 매칭 정확도를 향상시킬 수 있는가?
• RQ3 의미 없는 정렬(예: 'a', 'in')에 대한 어텐션 기반 필터링이 매칭 성능과 내성 강도를 향상시킬 수 있는가?
• RQ4 제안된 SGRAF 프레임워크가 표준 이미지-텍스트 매칭 벤치마크에서 최신 기술 수준 성능을 달성하는가?
• RQ5 SGR 및 SAF 모듈의 어텐션 메커니즘이 인간 레이블 기반 참조 데이터와 얼마나 잘 일치하는가?

주요 결과

• SGRAF 모델은 Flickr30K 데이터셋에서 R@1 및 R@5 지표 모두에서 이전 방법들을 능가하는 최신 기술 수준 성능을 달성했다.
• MSCOCO 데이터셋에서 SGRAF는 다양한 이미지-텍스트 쌍에 걸쳐 강력한 일반화 능력을 보이며 새로운 최신 기술 수준 결과를 달성했다.
• SGR 모듈은 국소적 및 전반적 정렬 간의 상호의존성을 모델링하여 복잡한 매칭 패턴을 효과적으로 포착했다.
• SAF 모듈은 주목할 만한 정렬 쌍만 강조하는 어텐션 맵을 통해 의미 없는 정렬의 간섭을 크게 줄였다.
• 정성 분석 결과, SAF의 어텐션 가중치가 인간 레이블 기반 참조 데이터와 잘 일치함을 확인하여 모델의 해석 가능성을 향상시켰다.
• 제거 실험을 통해 SGR 및 SAF 구성 요소의 효과성을 검증하였으며, 둘 다 사용할 경우 일관된 성능 향상이 나타났다.