[논문 리뷰] Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval

Sijin Wang, Ruiping Wang외 3명|arXiv (Cornell University)|2019. 10. 11.

Multimodal Machine Learning Applications참고 문헌 39인용 수 11

한 줄 요약

이 논문은 교차 모달 장면 그래프 매칭을 사용하여 관계 인식 이미지-텍스트 검색 방법을 제안한다. 이미지와 텍스트를 각각 시각적 장면 그래프와 문장적 장면 그래프로 모델링하고, 전용 그래프 인코더를 활용하여 객체 및 관계의 공동 표현을 학습함으로써, 실체 간 의미적 관계를 명시적으로 캡처하여 Flickr30k 및 MSCOCO에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Image-text retrieval of natural scenes has been a popular research topic. Since image and text are heterogeneous cross-modal data, one of the key challenges is how to learn comprehensive yet unified representations to express the multi-modal data. A natural scene image mainly involves two kinds of visual concepts, objects and their relationships, which are equally essential to image-text retrieval. Therefore, a good representation should account for both of them. In the light of recent success of scene graph in many CV and NLP tasks for describing complex natural scenes, we propose to represent image and text with two kinds of scene graphs: visual scene graph (VSG) and textual scene graph (TSG), each of which is exploited to jointly characterize objects and relationships in the corresponding modality. The image-text retrieval task is then naturally formulated as cross-modal scene graph matching. Specifically, we design two particular scene graph encoders in our model for VSG and TSG, which can refine the representation of each node on the graph by aggregating neighborhood information. As a result, both object-level and relationship-level cross-modal features can be obtained, which favorably enables us to evaluate the similarity of image and text in the two levels in a more plausible way. We achieve state-of-the-art results on Flickr30k and MSCOCO, which verifies the advantages of our graph matching based approach for image-text retrieval.

연구 동기 및 목표

• 기존 이미지-텍스트 검색 방법이 전역 특징이나 고립된 객체에만 초점을 맞추는 한계를 보완하기 위해, 복잡한 장면에서 관계 정보를 통합한다.
• 다수의 객체가 존재하는 자연 장면에서 객체 간 의미적 관계를 모델링하여 검색 정확도를 향상시킨다.
• 양 모달리티 간 객체 수준 및 관계 수준 특징의 공동 매칭을 가능하게 하는 통합 프레임워크를 개발한다.
• 관계를 모델링함으로써 교차 모달 유사도 측정이 크게 향상됨을 검증하는 가설을 검토한다.

제안 방법

• 이 방법은 이미지 객체와 그들 간의 검출된 관계로부터 시각적 장면 그래프(VSG)를 구성하고, 텍스트 문장의 문법적 분석을 통해 문장적 장면 그래프(TSG)를 생성한다.
• 다중 모달 그래프 컨volution 네트워크(MGCN)는 이웃 정보를 집계하여 객체 및 관계 특징을 개선함으로써 VSG를 인코딩한다.
• 두 개의 별도된 양방향 GRU가 TSG를 처리하여 객체 및 관계 특징을 독립적으로 인코딩함으로써 모달리티 특유의 의미를 유지한다.
• 양 모달리티에서 객체 수준 및 관계 수준 특징을 별도로 학습하고, 이들을 교차 모달 검색을 위해 상호 매칭한다.
• 모델은 양 모달리티의 표현 정렬을 최적화하기 위해 대비 손실을 사용한다.
• 그래프 인코더는 연결된 이웃로부터의 정보를 집계하여 노드 표현을 개선함으로써 의미 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지와 텍스트의 객체 간 관계를 모델링하면 객체 수준 매칭을 넘어서 이미지-텍스트 검색 성능 향상에 기여하는가?
• RQ2 장면 그래프에서 관계를 명시적으로 모델링하면 교차 모달 표현 정렬에 어떤 영향을 미치는가?
• RQ3 객체 수준 및 관계 수준의 이중 매칭 전략은 전역 또는 객체 전용 방법보다 더 높은 검색 정확도를 제공하는가?
• RQ4 관계 인식 특징은 의미가 모호한 객체 조합을 포함한 복잡한 장면에서 검색 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 SGM 모델은 Flickr30k 및 MSCOCO 데이터셋에서 최신 기술 수준 성능을 달성하며, 이전 방법들보다 뚜렷한 성능 향상을 보였다.
• Flickr30k에서, 최고의 기존 방법 대비 이미지 검색의 R@1이 상대적으로 16.18% 향상되었고, 캡션 검색의 R@1도 상대적으로 16.8% 향상되었다.
• MSCOCO 5k 테스트 스플릿에서, 캡션 검색의 R@1이 상대적으로 10.62% 향상되었고, 이미지 검색의 R@1도 상대적으로 6.65% 향상되었다.
• MSCOCO 1k 테스트 스플릿에서, 모델은 R@1 지표에서 뛰어난 성능을 보이며 도전적인 검색 시나리오에서의 강건성을 입증했다.
• 정성적 결과는 텍스트 쿼리에서 관계 단어를 수정할 경우 검색된 이미지에 뚜렷한 변화가 발생함을 보여주며, 이는 모델이 관계 의미를 캡처하고 활용하고 있음을 확인한다.
• 모델은 전역 표현 기반 및 국소 객체 기반 방법을 모두 능가하며, 복잡한 이미지-텍스트 검색에서 관계를 모델링하는 것이 필수적임을 검증한다.