[논문 리뷰] Graph Structured Network for Image-Text Matching

Chunxiao Liu, Zhendong Mao외 4명|arXiv (Cornell University)|2020. 04. 01.

Multimodal Machine Learning Applications참고 문헌 35인용 수 8

한 줄 요약

이 논문은 이미지와 텍스트를 이질적인 그래프로 모델링하는 그래프 구조 일치 네트워크(GSMN)를 제안한다. 여기서 노드는 객체, 관계, 속성을 나타내며, 노드 수준 및 구조 수준의 일치를 통해 세분화된 어절 수준의 대응 관계 학습이 가능하다. GSMN는 기존 방법 대비 Flickr30K에서 Recall@1이 약 7% 향상되고 MSCOCO에서 약 2% 향상되어 최신 기술 수준을 확보한다.

ABSTRACT

Image-text matching has received growing interest since it bridges vision and language. The key challenge lies in how to learn correspondence between image and text. Existing works learn coarse correspondence based on object co-occurrence statistics, while failing to learn fine-grained phrase correspondence. In this paper, we present a novel Graph Structured Matching Network (GSMN) to learn fine-grained correspondence. The GSMN explicitly models object, relation and attribute as a structured phrase, which not only allows to learn correspondence of object, relation and attribute separately, but also benefits to learn fine-grained correspondence of structured phrase. This is achieved by node-level matching and structure-level matching. The node-level matching associates each node with its relevant nodes from another modality, where the node can be object, relation or attribute. The associated nodes then jointly infer fine-grained correspondence by fusing neighborhood associations at structure-level matching. Comprehensive experiments show that GSMN outperforms state-of-the-art methods on benchmarks, with relative Recall@1 improvements of nearly 7% and 2% on Flickr30K and MSCOCO, respectively. Code will be released at: https://github.com/CrossmodalGroup/GSMN.

연구 동기 및 목표

• 기존 방법이 이미지와 텍스트 간의 세분화된 대응 관계, 특히 관계와 속성에 대해 학습하는 데 한계를 보이는 문제를 해결하기 위해.
• 객체, 관계, 속성을 구조화된 어휘로 명시적으로 모델링하여 정렬 정확도를 향상시키기 위해.
• 그래프 컨volution 네트워크(GCN)를 사용해 객체, 관계, 속성 노드 간의 대응 관계를 공동으로 학습하기 위해.
• 서로 다른 감시를 통해 관계 및 속성 맥락을 활용하여 객체 일치를 향상시키기 위해.
• 기존 최신 기술 수준의 방법을 초월하는 성능을 내기 위해.

제안 방법

• 노드가 객체, 관계, 속성을 나타내고, 간선이 그들 간의 상호작용을 나타내는 시각적 및 텍스트적 그래프를 구축한다.
• 유사도 점수를 기반으로 한 모odal 간의 노드를 유사한 노드와 연결함으로써 노드 수준의 일치를 수행한다.
• 그래프 컨볼루션 네트워크(GCN)를 적용하여 간선을 따라 노드 일치 정보를 전파함으로써 구조 수준의 일치를 가능하게 한다.
• 양방향 GRU(Bi-GRUs)를 사용해 텍스트 시퀀스를 인코딩하여 장거리 의존성을 포착함으로써 텍스트 그래프에서 간선 가중치 추정의 정확도를 높인다.
• 노드 수준 및 구조 수준의 일치를 융합하여 세분화된 어절 수준의 정렬을 추론하고, 전체 이미지-텍스트 유사도 예측 성능을 향상시킨다.
• 노드 수준 일치에서의 관련성을 균형 잡기 위해 학습 가능한 스케일링 인자 λ를 통합한다.

실험 결과

연구 질문

• RQ1 이미지와 텍스트를 구조화된 그래프로 모델링하면 이미지-텍스트 매칭에서 세분화된 대응 관계 학습이 향상되는가?
• RQ2 객체, 관계, 속성의 대응 관계를 공동으로 학습하면 객체 일치 정확도가 어떻게 향상되는가?
• RQ3 노드 수준의 일치를 그래프 구조를 따라 전파하기 위해 그래프 컨볼루션 네트워크를 사용할 경우 어떤 영향을 미치는가?
• RQ4 양방향 시퀀스 인코딩은 텍스트 그래프 구축 및 일치 품질을 향상시키는가?
• RQ5 하이퍼파rameter λ의 선택이 노드 수준 일치 성능 및 전체 모델 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• GSMN는 최신 기술 수준의 방법 대비 Flickr30K 벤치마크에서 Recall@1이 약 7% 향상되어 상대적 개선을 이룬다.
• MSCOCO 벤치마크에서는 기존 SOTA 접근 방식 대비 GSMN가 Recall@1을 약 2% 향상시킨다.
• 제거 실험 결과, 이중 일치를 사용하는 전체 GSMN가 단일 방향 또는 그래프 구조 없이 사용하는 모델보다 성능이 뛰어나다.
• GCN 깊이가 2인 모델(GSMN-2GCN)은 기본 모델보다 성능이 열 劣함을 보이며, 이는 간접적으로 연결된 노드로부터 노이즈가 유입될 수 있음을 시사한다.
• 최적의 스케일링 인자 λ는 데이터셋에 따라 다름 — Flickr30K에서는 λ=20, MSCOCO에서는 λ=10로, 데이터 분포 민감도를 반영한다.
• 시각화 결과는 GSMN가 세분화된 대응 관계를 학습하며, 관계(예: "bite")와 속성(예: "brown", "gray")을 특정 이미지 영역과 정확하게 일치시킴을 확인한다.