[논문 리뷰] VSE++: Improved Visual-Semantic Embeddings.

Fartash Faghri, David J. Fleet외 2명|arXiv (Cornell University)|2017. 07. 18.

Multimodal Machine Learning Applications인용 수 143

한 줄 요약

이 논문은 원래의 랭크 손실 대신 가장 어려운 부정 예제에 대해 페널티를 주는 하드 네거티브 마이닝 전략으로 교체함으로써 이미지-캡션 검색 성능을 향상시키기 위해 VSE++를 제안한다. 이 방법은 최신 기술 수준(SOTA) 성능을 달성하여 MS-COCO에서 R@1을 21% 향상시키고, Flickr30K에서는 R@1을 두 배 이상으로 높였다.

ABSTRACT

This paper investigates the problem of image-caption retrieval using joint visual-semantic embeddings. We introduce a very simple change to the loss function used in the original formulation by Kiros et al. (2014), which leads to drastic improvements in the retrieval performance. In particular, the original paper uses the rank loss which computes the sum of violations across the negative training examples. Instead, we penalize the model according to the hardest negative examples. We then make several additional modifications according to the current best practices in image-caption retrieval. We showcase our model on the MS-COCO and Flickr30K datasets through comparisons and ablation studies. On MS-COCO, we improve caption retrieval by 21% in R@1 with respect to the original formulation. Our results outperform the state-of-the-art results by 8.8% in caption retrieval and 11.3% in image retrieval at R@1. On Flickr30K, we more than double R@1 as reported by Kiros et al. (2014) in both image and caption retrieval, and achieve near state-of-the-art performance. We further show that similar improvements also apply to the Order-embeddings by Vendrov et al. (2015) which builds on a similar loss function.

연구 동기 및 목표

• 공동 시각-의미 임베딩을 사용하여 이미지-캡션 검색 성능을 향상시키기 위해.
• 원래의 랭크 손실이 모든 부정 예제에 대한 위반 평균을 취하는 데서 비롯되는 한계를 해결하기 위해.
• 학습 중 가장 어려운 부정 예제에 집중하는 것이 성능에 미치는 영향을 탐색하기 위해.
• 현재 최고의 실천 방법을 시각-언어 임베딩에 적용하여 최신 기술 수준의 성능를 달성하기 위해.
• 제안된 방법이 Order-embeddings와 같은 관련 모델로 일반화되는지 보여주기 위해.

제안 방법

• 원래의 랭크 손실을 제거하고, 각 긍정 쌍에 대해 가장 어려운 부정 예제만 페널티를 주는 하드 네거티브 마이닝 접근법을 도입한다.
• 배치 하드 마이닝 및 정규화 기법과 같은 비디오-언어 작업을 위한 표준 딥러닝 개선 기법을 적용한다.
• 이미지와 캡션을 공유된 임베딩 공간에 매핑하기 위해 시아미즈 네트워크 아키텍처를 사용한다.
• 긍정 쌍과 부정 쌍 간의 마진을 향상시키기 위해 하드 네거티브 마이닝을 적용한 대비 손실을 최적화한다.
• 학습 안정성 향상과 수렴 개선을 위해 정규화 및 학습률 스케줄링을 통합한다.
• 이 방법을 Order-embeddings로 확장하여 더 넓은 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 손실 함수에서 가장 어려운 부정 예제에 집중하는 것이 모든 부정 예제의 평균을 취하는 것보다 더 나은 검색 성능을 이끌어내는가?
• RQ2 제안된 하드 네거티브 마이닝 전략은 R@1 및 R@5 지표에서 원래의 랭크 손실과 비교해 어떻게 성능을 냈는가?
• RQ3 하드 네거티브 마이닝으로부터의 성능 향상은 Order-embeddings와 같이 유사한 손실 함수를 사용하는 다른 모델로 일반화될 수 있는가?
• RQ4 표준 딥러닝 최고 실천 방법들이 이미지-캡션 검색에서 시각-의미 임베딩 성능을 얼마나 향상시키는가?
• RQ5 제안된 방법이 MS-COCO 및 Flickr30K와 같은 벤치마크 데이터셋에서 성능에 얼마나 기여하는가?

주요 결과

• MS-COCO에서 VSE++는 원래의 VSE 기반 설정 대비 캡션 검색 R@1을 21% 향상시켰다.
• VSE++는 MS-COCO에서 최신 기술 수준의 성능를 달성하여, 캡션 검색에서 이전 SOTA 대비 8.8% 향상되었고, 이미지 검색에서 R@1 기준 11.3% 향상되었다.
• Flickr30K에서 VSE++는 Kiros 등(2014)이 보고한 원래의 VSE 기반 설정 대비 R@1 성능을 두 배 이상으로 높였다.
• 기본 모델 대비 상당한 성능 향상에도 불구하고, 모델은 Flickr30K에서 거의 최신 기술 수준의 성능를 달성했다.
• 하드 네거티브 마이닝 접근법은 Order-embeddings 모델으로도 효과적으로 일반화되었으며, 더 넓은 적용 가능성을 입증했다.
• 제거 분석 결과 하드 네거티브 손실이 성능 향상의 주요 기여 요소임을 확인하였고, 정규화 및 학습 관행 개선으로 추가 향상이 이루어졌다.