[논문 리뷰] Learning Deep Structure-Preserving Image-Text Embeddings

Liwei Wang, Yin Li외 1명|arXiv (Cornell University)|2015. 11. 19.

Multimodal Machine Learning Applications참고 문헌 58인용 수 55

한 줄 요약

이 논문은 양방향 랭킹 손실과 메트릭 학습에서 영감을 받은 뷰 내 구조 유지 제약 조건을 결합하여 공동 이미지-텍스트 임베딩을 학습하는 딥 두 개의 분기 신경망을 제안한다. 이 방법은 Flickr30K 및 MSCOCO에서 이미지-텍스트 및 텍스트-이미지 검색 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 특히 하드 음성 샘플로의 피지컬 튜닝 이후 Flickr30K Entities 데이터셋에서 문장 위치 지정 작업에서 CCA를 크게 능가한다.

ABSTRACT

This paper proposes a method for learning joint embeddings of images and text using a two-branch neural network with multiple layers of linear projections followed by nonlinearities. The network is trained using a large margin objective that combines cross-view ranking constraints with within-view neighborhood structure preservation constraints inspired by metric learning literature. Extensive experiments show that our approach gains significant improvements in accuracy for image-to-text and text-to-image retrieval. Our method achieves new state-of-the-art results on the Flickr30K and MSCOCO image-sentence datasets and shows promise on the new task of phrase localization on the Flickr30K Entities dataset.

연구 동기 및 목표

• 다양한 모odal 간의 의미 유사성을 유지하는 공유 임베딩 공간을 학습하여 교차 모odal 이미지-텍스트 검색 성능을 향상시키는 것.
• 복잡한 비선형 데이터 분포에서 스케일링 및 성능에 한계가 있는 CCA 기반 방법의 문제점을 해결하는 것.
• 메트릭 학습에서 영감을 받은 뷰 내 이웃 구조 유지 기반으로 검색 정확도를 향상시키는 것.
• 이미지-문장 및 문장-이미지 검색 작업에서 최신 기술 성능(SOTA)을 달성하는 것.
• 이미지 내 문장 위치 지정과 같은 새로운 과제에서의 효과성을 입증하는 것.

제안 방법

• 이미지와 텍스트 각각에 대해 별도로 다중 완전 연결층과 ReLU 비선형성을 갖춘 두 개의 분기 신경망을 사용한다.
• 각 분기의 끝에서 L2 정규화를 수행하여 공유 임베딩 공간에서 코사인 유사도를 거리 측정 방법으로 사용한다.
• 네트워크는 병합된 손실 함수를 사용하여 훈련된다: 상호 양방향 랭킹 손실(올바른 이미지-문장 쌍이 잘못된 것들보다 높은 순위를 차지하도록 보장)과 뷰 내 구조 유지 제약 조건(예: LMNN 스타일, 의미적으로 유사한 예측이 임베딩 공간에서 가까이 있도록 보장).
• 구조 유지 구성 요소는 앵커, 양성, 음성 샘플의 트리플릿을 사용하여 각 모odal 내 상대적 거리를 강제한다.
• 대부분의 마진을 고려한 목적 함수를 사용하여 온전한 경로로 경량화된 확률적 경사 하강법으로 훈련된다.
• 훈련 후 하드 음성 샘플링을 적용하여, 참조 지정 영역 제안서 중 참값보다 더 가까운 문장과 관련된 것을 식별하고 추가함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비선형 투영을 갖는 딥 두 개의 분기 신경망이 공동 이미지-텍스트 임베딩에서 선형 CCA 기반 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 메트릭 학습에서 영감을 받은 뷰 내 구조 유지 기반으로 교차 뷰 검색 성능이 향상되는가?
• RQ3 제안된 방법이 Flickr30K 및 MSCOCO와 같은 이미지-텍스트 및 텍스트-이미지 검색 벤치마크에서 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ4 더 도전적인 과제인 정확한 공간 기반 요구 사항이 필요한 문장 위치 지정 과제로 일반화 가능한가?
• RQ5 특히 문장 위치 지정에서 하드 음성 샘플링이 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 Flickr30K 및 MSCOCO 데이터셋에서 이미지-텍스트 및 텍스트-이미지 검색 과제에서 새로운 최신 기술 성능(SOTA)을 달성한다.
• 하드 음성 샘플링 이후 Recall@1이 약 6% 향상되고 mAP도 유사한 폭으로 증가하여, Flickr30K Entities 문장 위치 지정 벤치마크에서 CCA를 뛰어넘는다.
• 구조 유지 제약 조건을 포함함으로써 기준 모델보다 일관되게 성능 향상을 이룬다. 다만 트리플릿 샘플 수가 제한되어 있어 성능 향상 폭은 미미하다.
• 하드 음성 샘플링 없이도 CCA와 유사한 성능를 보이지만, 하드 음성 샘플로의 피지컬 튜닝 이후에는 상당히 뛰어난 성능를 나타낸다.
• 상호 양방향 랭킹과 뷰 내 구조 학습을 조합함으로써 각각의 구성 요소만 사용하는 것보다 더 강력하고 정확한 임베딩을 도출할 수 있음을 입증한다.
• 그림 3의 시각적 예시는 제안된 모델이 CCA 기반 베이스라인 대비 더 정확하고 좁은 범위의 바운딩 박스를 생성함을 보여준다.