[논문 리뷰] Position Focused Attention Network for Image-Text Matching

Yaxiong Wang, Hao Yang외 5명|arXiv (Cornell University)|2019. 07. 23.

Multimodal Machine Learning Applications참고 문헌 17인용 수 17

한 줄 요약

이 논문은 시각-언어 간 매칭 성능을 햖थ기 위해 공간적 위치 정보를 시각-언어적 어텐션 메커니즘에 통합하는 포지션 포커스드 어텐션 네트워크(PFAN)를 제안한다. 이미지를 공간 블록으로 나누고 영역-블록 간 관계를 모델링함으로써 PFAN은 공동 임베딩 학습을 향상시키며, Flickr30K, MS-COCO 및 대규모 뉴스 데이터셋(Tencent-News)에서 최신 기술 수준(SOTA) 성능을 달성하여 효과성과 실용성 모두를 입증한다.

ABSTRACT

Image-text matching tasks have recently attracted a lot of attention in the computer vision field. The key point of this cross-domain problem is how to accurately measure the similarity between the visual and the textual contents, which demands a fine understanding of both modalities. In this paper, we propose a novel position focused attention network (PFAN) to investigate the relation between the visual and the textual views. In this work, we integrate the object position clue to enhance the visual-text joint-embedding learning. We first split the images into blocks, by which we infer the relative position of region in the image. Then, an attention mechanism is proposed to model the relations between the image region and blocks and generate the valuable position feature, which will be further utilized to enhance the region expression and model a more reliable relationship between the visual image and the textual sentence. Experiments on the popular datasets Flickr30K and MS-COCO show the effectiveness of the proposed method. Besides the public datasets, we also conduct experiments on our collected practical large-scale news dataset (Tencent-News) to validate the practical application value of proposed method. As far as we know, this is the first attempt to test the performance on the practical application. Our method achieves the state-of-art performance on all of these three datasets.

연구 동기 및 목표

• 시각-언어적 어텐션에 공간적 위치 정보를 통합하여 이미지와 텍스트 간의 다중모odal 정렬을 향상시키기.
• 이미지-텍스트 매칭 작업에서 시각-언어적 유사도를 정확히 측정하는 과제를 해결하기.
• 이미지 영역과 이미지 블록 간의 상대적 공간적 관계를 모델링하여 공동 임베딩 학습을 향상시키기.
• 표준 벤치마크와 대규모 실용적 응용 데이터셋 모두에서 방법의 효과성을 검증하기.
• 실생활 이미지-텍스트 검색 시나리오에서 위치 인식 어텐션의 실용적 가치를 입증하기.

제안 방법

• 이미지를 공간 블록으로 나누어 각 이미지 영역의 상대적 위치를 추론한다.
• 이미지 영역과 그 공간 블록 간의 관계를 모델링하기 위해 포지션 포커스드 어텐션 메커니즘을 도입한다.
• 어텐션 메커니즘이 위치 인식 특징을 생성하여 영역 표현을 풍부하게 한다.
• 이러한 향상된 영역 특징을 사용하여 시각적 및 텍스처적 모odal 간의 공동 임베딩을 향상시킨다.
• 엔드 투 엔드로 학습하여 검색 작업에서의 이미지-텍스트 매칭 성능을 최적화한다.
• 공간적 위치 정보를 명시적으로 인코딩하여 어텐션을 이끌어내어 이미지 영역과 해당 텍스트 어휘 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간적 위치 정보를 어떻게 효과적으로 시각-언어적 어텐션 메커니즘에 통합하여 이미지-텍스트 매칭 성능을 향상시킬 수 있는가?
• RQ2 위치 인식 어텐션 메커니즘은 더 강력하고 정확한 공동 시각-언어 임베딩을 이끌 수 있는가?
• RQ3 제안된 방법은 표준 벤치마크를 초월하여 실생활 대규모 데이터셋에도 잘 일반화되는가?
• RQ4 공간적 위치 쌍을 포함할 경우 이미지-텍스트 검색 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 다중모달 매칭에서 표준 어텐션 메커니즘에 비해 위치 인식 어텐션의 기여도는 어떠한가?

주요 결과

• 제안된 PFAN 모델은 Flickr30K 데이터셋에서 최신 기술 수준 성능을 달성하여 이전 방법들을 능가하는 이미지-텍스트 검색 성능을 보였다.
• MS-COCO 데이터셋에서 PFAN은 새로운 최신 기술 수준 결과를 달성하여 다양한 이미지-텍스트 쌍에 걸쳐 강력한 일반화 능력을 입증했다.
• 대규모 실생활 Tencent-News 데이터셋에서 PFAN은 최고의 성능을 기록하여 실용적 적용 가능성의 타당성을 입증했다.
• 공간적 위치 쌍의 통합은 시각-언어 공동 임베딩의 품질을 크게 향상시켜 더 높은 매칭 정확도를 이끌어냈다.
• 제거 실험을 통해 위치 인식 어텐션은 특히 다수의 객체가 존재하는 복잡한 시나리오에서 성능 향상에 의미 있는 기여를 한다는 것이 확인되었다.
• 모든 세 가지 데이터셋에서 모든 평가 지표(R@1, R@5, R@10 등)에서 일관된 성능 향상이 관찰되었다.