[논문 리뷰] Two-stream Hierarchical Similarity Reasoning for Image-text Matching

Ran Chen, Hanli Wang외 2명|arXiv (Cornell University)|2022. 03. 10.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 이미지-텍스트 매칭을 위한 이중 스트림 계층적 유사도 추론(TSHSR) 네트워크를 제안한다. 이는 이중 스트림 아키텍처를 통해 이미지-텍스트 및 텍스트-이미지 유사도를 동시 모델링하고, 다중 수준의 계층적 유사도 정보를 추출하여 추론 능력을 향상시킨다. 이 방법은 MSCOCO와 Flickr30K에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이미지 검색 시 R@1이 78.8%이고 문장 검색 시 R@1이 62.8%이다.

ABSTRACT

Reasoning-based approaches have demonstrated their powerful ability for the task of image-text matching. In this work, two issues are addressed for image-text matching. First, for reasoning processing, conventional approaches have no ability to find and use multi-level hierarchical similarity information. To solve this problem, a hierarchical similarity reasoning module is proposed to automatically extract context information, which is then co-exploited with local interaction information for efficient reasoning. Second, previous approaches only consider learning single-stream similarity alignment (i.e., image-to-text level or text-to-image level), which is inadequate to fully use similarity information for image-text matching. To address this issue, a two-stream architecture is developed to decompose image-text matching into image-to-text level and text-to-image level similarity computation. These two issues are investigated by a unifying framework that is trained in an end-to-end manner, namely two-stream hierarchical similarity reasoning network. The extensive experiments performed on the two benchmark datasets of MSCOCO and Flickr30K show the superiority of the proposed approach as compared to existing state-of-the-art methods.

연구 동기 및 목표

• 기존의 이미지-텍스트 매칭 방법에서 다중 수준의 계층적 유사도 모델링 부족 문제를 해결하기 위해.
• 단일 스트림 유사도 정렬(예: 이미지-텍스트 또는 텍스트-이미지만)의 한계를 극복하여 상보적인 다중 모odal 정보를 포괄적으로 캡처하기 위해.
• 자동으로 계층적 맥락과 국소 상호작용 신호를 추출하고 활용할 수 있는 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 계층적 유사도 추론과 이중 스트림 유사도 계산이 이미지-텍스트 매칭 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 지역에서 전역으로의 다중 수준 유사도 표현을 점진적으로 집계하는 이격 이웃 신호를 전파하는 계층적 유사도 추론(HSR) 모듈을 제안한다.
• 이미지-텍스트 및 텍스트-이미지 유사도를 별도로 계산하는 이중 스트림 아키텍처를 설계하여 시각적 및 텍스처적 신호의 상보적 정렬을 가능하게 한다.
• 지역 유사도 점수를 노드로, 이웃 관계를 간선으로 하는 그래프를 형성하기 위해 지역-단위-유사도 간 상호작용을 모델링하기 위해 그래프 컨volutional 네트워크(GCNs)를 사용한다.
• 학습 가능한 융합 메커니즘을 통해 국소 상호작용 특징과 계층적 맥락 특징을 융합하여 전역 표현 학습을 향상시킨다.
• 특징 추출, 유사도 계산, 추론 모듈을 동시에 최적화하기 위해 엔드 투 엔드 학습 전략을 적용한다.
• HSR에서 다단계 추론 과정을 적용하여 각 레이어가 전파된 신호로부터 점차 고차원 맥락 정보를 캡처하도록 한다.

실험 결과

연구 질문

• RQ1 계층적 유사도 추론 모듈의 추론 단계 수가 검색 성능에 어떤 영향을 미치는가?
• RQ2 기존의 유사도 추론 대비 계층적 유사도 추론이 매칭 정확도 향상에 얼마나 기여하는가?
• RQ3 이미지-텍스트 또는 텍스트-이미지 중 어느 스트림이 이미지-텍스트 매칭에 더 효과적인 유사도 신호를 제공하는가?
• RQ4 지역, 맥락, 전역 수준의 표현이 최종 매칭 성능에 어떻게 기여하는가?

주요 결과

• 제안된 TSHSR 모델은 MSCOCO와 Flickr30K에서 모두 SOTA 성능을 달성하였으며, 이미지 검색 시 R@1이 78.8%이고 R@10이 98.6%이며, 문장 검색 시 R@1이 62.8%이고 R@10이 95.6%이다.
• HSR 레이어 수를 늘릴수록 성능이 점진적으로 향상되며, 세 개 레이어에서 최적 성능을 보여, 더 깊은 추론이 특징 표현을 향상시킨다는 것을 시사한다.
• 계층적 유사도 추론은 기존의 유사도 추론보다 유의미하게 뛰어나며, 추론 과정에서 다중 수준 맥락을 모델링하는 것이 필수적임을 입증한다.
• 이미지-텍스트 수준의 유사도 추론이 텍스트-이미지 수준의 유사도 추론보다 더 높은 성능을 보이며, 자연어 시퀀스와의 강한 구조적 정렬 때문일 가능성이 있다.
• 제거 실험 결과, 이미지-텍스트 및 텍스트-이미지 양 스트림을 조합할 경우 성능이 향상됨을 확인하여 이중 스트림 정렬의 유용성을 검증한다.
• 시각화 결과는 TSHSR가 세밀한 표현과 다중 엔터티를 포함한 복잡한 매칭 패tern을 높은 정확도로 성공적으로 캡처함을 보여준다.