[논문 리뷰] Learning Two-Branch Neural Networks for Image-Text Matching Tasks

Liwei Wang, Yin Li외 2명|arXiv (Cornell University)|2017. 04. 11.

Multimodal Machine Learning Applications참고 문헌 50인용 수 19

한 줄 요약

이 논문은 이미지-텍스트 매칭 작업을 위한 두 가지 이중 브랜치 신경망 아키텍처—임베딩 네트워크와 유사도 네트워크—를 제안한다. 임베딩 네트워크는 최대 마진 순서 정렬과 향상된 이웃 샘플링을 통해 공유 잠재 공간을 학습하며, 유사도 네트워크는 요소별 곱셈 통합을 통해 직접 유사도 점수를 회귀한다. 두 모델 모두 문장 국소화(Flickr30K Entities)와 双방향 이미지-문장 검색(Flickr30K, MSCOCO)에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Image-language matching tasks have recently attracted a lot of attention in the computer vision field. These tasks include image-sentence matching, i.e., given an image query, retrieving relevant sentences and vice versa, and region-phrase matching or visual grounding, i.e., matching a phrase to relevant regions. This paper investigates two-branch neural networks for learning the similarity between these two data modalities. We propose two network structures that produce different output representations. The first one, referred to as an embedding network, learns an explicit shared latent embedding space with a maximum-margin ranking loss and novel neighborhood constraints. Compared to standard triplet sampling, we perform improved neighborhood sampling that takes neighborhood information into consideration while constructing mini-batches. The second network structure, referred to as a similarity network, fuses the two branches via element-wise product and is trained with regression loss to directly predict a similarity score. Extensive experiments show that our networks achieve high accuracies for phrase localization on the Flickr30K Entities dataset and for bi-directional image-sentence retrieval on Flickr30K and MSCOCO datasets.

연구 동기 및 목표

• 교차 모odal 검색 작업에서 이미지와 텍스트 모달 간의 의미 유사도를 측정하는 데 도전하는 것.
• 이미지 및 텍스트 특징을 대칭적으로 공유 공간에 매핑하여 공동 학습을 위한 신경망 아키텍처를 설계하는 것.
• 임베딩 네트워크에서 새로운 이웃 인식 트리플릿 샘플링을 통해 학습 효율성과 성능을 향상시키는 것.
• 공유 임베딩 학습의 대안으로 요소별 통합을 통한 직접적인 유사도 예측을 탐색하는 것.
• 전체 이미지-문장 매칭과 국소 영역-구문 매칭을 조합하여 시각적 기반 성능 향상의 가능성을 평가하는 것.

제안 방법

• 임베딩 네트워크는 이미지 및 텍스트 특징를 위한 두 개의 별도 브랜치를 사용하며, 각각 완전 연결 ReLU 레이어와 L2 정규화를 거쳐 입력을 공유 잠재 공간에 매핑한다.
• 최대 마진 목표를 가진 트리플릿 순서 정렬 손실이 적용되며, 양성 쌍(일치하는 이미지-영역 및 구문)은 가까이, 음성 쌍은 멀어지도록 한다.
• 표준 트리플릿 샘플링보다 더 나은 안정성과 성능을 확보하기 위해 이웃 정보를 통합한 개선된 미니배치 샘플링 전략이 적용된다.
• 유사도 네트워크는 정규화된 이미지 및 텍스트 특징의 요소별 곱셈을 수행한 후 추가 완전 연결 레이어를 거쳐 직접 유사도 점수를 예측한다.
• 이 네트워크는 이진 레이블(+1은 양성 쌍, -1은 음성 쌍)을 사용한 로지스틱 회귀 손실로 훈련된다.
• 모델들은 표준 평가 지표인 mAP와 R@1을 사용하여 Flickr30K Entities(문장 국소화), Flickr30K, MSCOCO(이미지-문장 검색)에서 평가된다.

실험 결과

연구 질문

• RQ1 공유 잠재 공간 학습을 갖는 이중 브랜치 신경망 아키텍처가 기존 방법보다 이미지-텍스트 매칭 작업에서 우수한 성능을 낼 수 있는가?
• RQ2 임베딩 네트워크에서 표준 샘플링 대비 이웃 인식 트리플릿 샘플링이 성능 향상에 기여하는가?
• RQ3 요소별 통합을 통한 직접적인 유사도 예측 네트워크가 명시적 임베딩 공간 학습 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 유사도 네트워크는 문장 국소화에서는 성공했지만 이미지-문장 검색에서는 실패하는 이유는 무엇인가?
• RQ5 전체 이미지-문장 매칭과 국소 영역-구문 매칭 모델을 조합하면 시각적 기반 성능 향상에 기여하는가?

주요 결과

• 임베딩 네트워크는 Flickr30K Entities 데이터셋에서 76.4% mAP로 문장 국소화 작업에서 최신 기술 수준 성능을 달성한다.
• 유사도 네트워크는 문장 국소화에서 강력한 성능(74.1% mAP)을 보였지만 이미지-문장 검색에서는 실패하여 작업 특화된 한계를 보여준다.
• 미니배치 내에서 개선된 이웃 샘플링 전략은 손실 함수를 변경하지 않더라도 임베딩 네트워크의 성능 향상에 상당한 기여를 한다.
• 이미지-문장 및 영역-구문 점수의 가중 평균을 사용한 통합 모델은 근소한 성능 향상(예: 0.5% mAP 향상)을 보였으며, 이는 모달 간 일관성 부족을 시사한다.
• 동일한 이미지 내에서 여러 구문을 다룰 때나 다른 이미지 간에 순서를 매길 때 국소 영역-구문 모델의 점수는 일관성이 없어 일반적인 구문 검출 도구로서의 활용이 제한된다.
• 이미지-문장 및 국소 영역-구문 네트워크의 공동 훈련은 좋은 결과를 내지 못했으며, 다중 해상도 매칭의 종합 최적화 과정에서의 과제를 보여준다.