[논문 리뷰] Visual Semantic Reasoning for Image-Text Matching

Kunpeng Li, Yulun Zhang외 3명|arXiv (Cornell University)|2019. 09. 06.

Multimodal Machine Learning Applications참고 문헌 40인용 수 21

한 줄 요약

이 논문은 그래프 컬러레이션 네트워크(GCNs)를 통해 영역 기반 의미적 추론을 수행하고 게이트 및 메모리 메커니즘을 사용해 전역적 의미적 추론을 수행하는 Visual Semantic Reasoning Network(VSRN)을 제안한다. 이 모델은 키 오브젝트와 관계를 포착하는 해석 가능한 고수준 시각적 표현을 생성하여, MS-COCO와 Flickr30K에서 이미지-텍스트 매칭 성능을 최고 수준으로 향상시켰으며, 각각 이미지 검색에서 6.8% 및 12.6%의 상대적 향상률을 기록하였다.

ABSTRACT

Image-text matching has been a hot research topic bridging the vision and language areas. It remains challenging because the current representation of image usually lacks global semantic concepts as in its corresponding text caption. To address this issue, we propose a simple and interpretable reasoning model to generate visual representation that captures key objects and semantic concepts of a scene. Specifically, we first build up connections between image regions and perform reasoning with Graph Convolutional Networks to generate features with semantic relationships. Then, we propose to use the gate and memory mechanism to perform global semantic reasoning on these relationship-enhanced features, select the discriminative information and gradually generate the representation for the whole scene. Experiments validate that our method achieves a new state-of-the-art for the image-text matching on MS-COCO and Flickr30K datasets. It outperforms the current best method by 6.8% relatively for image retrieval and 4.8% relatively for caption retrieval on MS-COCO (Recall@1 using 1K test set). On Flickr30K, our model improves image retrieval by 12.6% relatively and caption retrieval by 5.8% relatively (Recall@1). Our code is available at https://github.com/KunpengLi1994/VSRN.

연구 동기 및 목표

• 고수준 의미 개념을 통한 이미지 표현 향상으로 이미지-텍스트 매칭에서의 시각-의미 불일치 문제를 해결하기 위해.
• 이미지의 국소적 영역 간 관계와 전역적 의미 상관관계를 모델링하여 텍스트 기술과의 보다 나은 정렬을 위해.
• 로컬 CNN 특징을 초월해 향상된 특징 표현을 제공하는 단순하고 해석 가능한 추론 메커니즘을 설계하기 위해.
• 주의 시각화를 통해 학습된 이미지 표현이 텍스트 캡션에서 핵심 오브젝트와 의미 관계를 어떻게 포착하는지 검증하기 위해.
• 표준 이미지-텍스트 매칭 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 모델은 추론을 위한 입력으로 주목할 만한 이미지 영역을 추출하기 위해 Faster R-CNN을 사용한다.
• 이미지 영역 간 연결을 위한 그래프 토폴로지를 구축하고, 그래프 컬러레이션 네트워크(GCNs)를 적용하여 의미 관계를 기반으로 특징을 전파하고 향상시킨다.
• 게이트 및 메모리 메커니즘이 도입되어 선택적으로 구분력 있는 특징에 주의를 기울이고 점진적으로 통합된 이미지 표현을 구축함으로써 전역적 의미 추론을 수행한다.
• 최종 이미지 표현은 전역 표현과의 유사도 기반으로 가중 가능한 주의 메커니즘을 통해 영역 특징을 집계하여 계산된다.
• 모델은 최종 이미지 표현과 각 영역 간의 주의 점수를 시각화하여 모델 동작을 해석한다.
• 모델은 이미지-텍스트 매칭 성능를 최적화하기 위해 대비 순서 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 이미지 영역 간 관계를 모델링하는 추론 메커니즘이 이미지-텍스트 매칭에서의 시각-의미 정렬을 향상시키는가?
• RQ2 게이트 및 메모리 메커니즘을 사용한 전역적 의미 추론이 이미지 표현의 구분 능력을 향상시키는가?
• RQ3 모델의 내부 추론 과정을 해석할 수 있는가? 이를 통해 텍스트 캡션에서 핵심 의미 개념을 포착하고 있는지 검증할 수 있는가?
• RQ4 기존의 국소적 특징이나 쌍별 주의 메커니즘에 의존하는 방법보다 추론 기반 표현이 성능 면에서 뛰어나지 않는가?
• RQ5 모델은 표준 벤치마크에서 복잡하고 혼잡한 장면에 대해 얼마나 잘 일반화되는가?

주요 결과

• MS-COCO에서 VSRN은 이전 최고 성능 모델 대비 이미지 검색에서 6.8% 상대적 향상률(1K 테스트 세트에서 Recall@1 기준)과 캡션 검색에서 4.8% 상대적 향상률을 기록하였다.
• Flickr30K에서 모델은 이미지 검색에서 12.6% 상대적 향상률과 캡션 검색에서 5.8% 상대적 향상률(Recall@1 기준)을 기록하여 강력한 일반화 능력을 입증하였다.
• 정성적 결과는 모델이 복잡한 장면에서도 상위 3개 이내로 정확한 매칭을 수행하며, 주의 맵이 핵심 오브젝트와 의미 개념을 강조함을 보여주었다.
• 주의 시각화 결과는 모델의 최종 표현이 핵심 의미 개념을 포함한 영역과 강하게 상관관계를 가지며, 이는 모델의 해석 가능성 검증에 기여하였다.
• 모델은 시각적으로 유사한 이미지, 예를 들어 차를 청소하는 사람과 스키를 타는 사람을 의미적 단서에 기반해 정확히 구분하는 데 성공하였다.
• 결과적으로 추론을 통한 개선된 전역 표현이 복잡한 쌍별 주의 메커니즘보다 이미지-텍스트 매칭에 더 효과적임을 시사한다.