[논문 리뷰] Saliency-Guided Attention Network for Image-Sentence Matching

Zhong Ji, Haoran Wang외 2명|arXiv (Cornell University)|2019. 04. 20.

Multimodal Machine Learning Applications참고 문헌 45인용 수 16

한 줄 요약

이 논문은 시각적 주목 영역을 가이드로 삼아 시각과 언어 모odal 간의 비대칭적 정렬을 수행하는 Saliency-Guided Attention Network (SAN)을 제안한다. 시각적 주목 영역을 탐지하는 모듈과 Saliency-weighted Visual Attention (SVA) 모듈, Saliency-guided Textual Attention (STA) 모듈을 통합함으로써 SAN은 세밀한 다중모态 상관관계를 학습하며, Flickr30K 및 MSCOCO 데이터셋에서 문장 검색 성능을 19.2% 향상시켜 최신 기준 성능을 달성한다.

ABSTRACT

This paper studies the task of matching image and sentence, where learning appropriate representations across the multi-modal data appears to be the main challenge. Unlike previous approaches that predominantly deploy symmetrical architecture to represent both modalities, we propose Saliency-guided Attention Network (SAN) that asymmetrically employs visual and textual attention modules to learn the fine-grained correlation intertwined between vision and language. The proposed SAN mainly includes three components: saliency detector, Saliency-weighted Visual Attention (SVA) module, and Saliency-guided Textual Attention (STA) module. Concretely, the saliency detector provides the visual saliency information as the guidance for the two attention modules. SVA is designed to leverage the advantage of the saliency information to improve discrimination of visual representations. By fusing the visual information from SVA and textual information as a multi-modal guidance, STA learns discriminative textual representations that are highly sensitive to visual clues. Extensive experiments demonstrate SAN can substantially improve the state-of-the-art results on the benchmark Flickr30K and MSCOCO datasets by a large margin.

연구 동기 및 목표

• 시각적 주목 영역을 가이드로 활용하여 이미지와 문장 간의 의미적 격차를 해소함으로써 다중모달 매칭 성능을 향상시키기 위해.
• 전반적인 특징 표현 방식이 대칭적이고 전역적인 특징에 의존함으로써 세밀한 시각-언어 정렬이 흐려지는 한계를 극복하기 위해.
• 시각적 주목 영역이 언어 주목을 이끄는 비대칭적 주목 메커니즘을 개발하여 이미지가 더 많은 정보를 담고 있음을 반영하기 위해.
• 지역적이고 주목 영역에 해당하는 시각적 영역과 그 문맥적 대응어를 모델링하여 벤치마크 데이터셋에서의 검색 성능을 향상시키기 위해.

제안 방법

• 경량의 주목 영역 탐지기 모듈을 사용하여 주목 영역 맵을 생성하고, 이는 두 주목 모듈을 모두 가이드한다.
• Saliency-weighted Visual Attention (SVA) 모듈은 주목 영역 맵을 활용해 지역적 시각적 특징에만 집중함으로써 구분력 있는 시각적 표현을 향상시킨다.
• Saliency-guided Textual Attention (STA) 모듈은 전반적인 시각적 특징, 내부 모달의 언어적 특징, 주목 영역 정보를 융합하여 단어 수준의 주목에 대한 다중모달 가이드라인을 생성한다.
• SVA 및 STA 모두에 소프트 주목 메커니즘을 적용하여 의미적 관련성에 기반해 중요도 가중치를 동적으로 할당한다.
• 이중 방향 순서 정렬 손실을 사용하여 이미지-문장 쌍 간의 통합 임베딩 공간 정렬을 최적화함으로써 모델을 훈련시킨다.
• 이 아키텍처는 비대칭적 다중모달 주목을 가능하게 하여, 시각 정보가 언어 주목을 이끄는 방식으로, 이미지가 더 높은 정보량을 지닌다는 점을 반영한다.

실험 결과

연구 질문

• RQ1 시각적 주목 영역은 다중모달 매칭에서 이미지와 문장 표현 간의 정렬을 향상시키는 데 기여하는가?
• RQ2 비대칭적 주목 메커니즘(시각이 언어를 이끄는 방식)이 대칭적이고 双방향 주목보다 이미지-문장 검색 성능에서 뛰어나게 되는가?
• RQ3 주목 영역 맵을 시각적 및 언어적 주목 모듈에 통합함으로써 세밀한 다중모달 상관관계 향상에 얼마나 효과적인가?
• RQ4 전체 또는 내부 모달의 언어적 특징만을 사용하는 것과 비교해, 주목 영역 기반 언어 주목의 기여도는 어떠한가?

주요 결과

• Saliency-Guided Textual Attention (STA) 모듈만으로도 기준 모델 대비 문장 검색의 R@1을 19.2% 향상시키고, 이미지 검색의 R@1을 15.4% 향상시킨다.
• STA 모듈에서 주목 영역 강화 시각적 특징(SV)을 사용할 경우, 전역 시각적 특징(GV)을 사용한 경우에 비해 이미지 검색의 R@1이 7.6% 절대적으로 향상된다.
• 완전한 SAN 모델은 MSCOCO 1K 테스트 세트에서 문장 검색에 대해 85.4%의 R@1 성능을 기록했으며, 이미지 검색에 대해서는 69.1%를 달성하여 이전 최신 기준 방법들을 크게 능가한다.
• 정성적 결과 분석을 통해 SVA 및 STA 모듈이 각각 주목 영역에 해당하는 시각적 영역과 의미적으로 관련된 단어에 대응하는 해석 가능한 주목 히트맵을 생성하는 것으로 확인되었다.
• 두 단계(Stage-1 및 Stage-2)로 나누어 훈련된 모델은 주목 영역 탐지 및 주목 정렬 성능이 향상되었으며, Stage-2에서는 더 일관되고 세밀한 시각적 주목 맵을 생성하는 것으로 나타났다.