[논문 리뷰] Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval

Youssef Mroueh, Etienne Marcheret외 1명|arXiv (Cornell University)|2015. 11. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 이미지와 텍스트 간 이중 방향 검색 성능을 향상시키기 위해 비대칭 가중 CCA (AW-CCA)를 제안한다. 이는 검색 항목을 쿼리 공간으로 매핑하기 위해 비대칭 캐논리컬 가중치 스케일링을 사용하며, 계산 효율적인 T-SVD 지도 Tikhonov 교차검증을 통한 정규화와 함께, 우수한 문장 표현을 위한 새로운 계층적 커널 문장 임베딩(HKSE)을 통합한다. 이 방법은 오프더쇼프 이미지 및 텍스트 특징만을 사용하여 MSCOCO 및 Flickr 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Joint modeling of language and vision has been drawing increasing interest. A multimodal data representation allowing for bidirectional retrieval of images by sentences and vice versa is a key aspect. In this paper we present three contributions in canonical correlation analysis (CCA) based multimodal retrieval. Firstly, we show that an asymmetric weighting of the canonical weights, while achieving a cross view mapping from the search to the query space, improves the retrieval performance. Secondly, we devise a computationally efficient model selection, crucial to generalization and stability, in the framework of the Bj\"ork Golub algorithm for regularized CCA via spectral filtering. Finally, we introduce a Hierarchical Kernel Sentence Embedding (HKSE) that approximates Kernel CCA for a special similarity kernel between distribution of words embedded in a vector space. State of the art results are obtained on MSCOCO and Flickr benchmarks when these three techniques are used in conjunction.

연구 동기 및 목표

• CCA에서 다중 시각적 매핑 방향을 재고함으로써 이중 방향 이미지 및 텍스트 검색 성능을 향상시키기.
• 정규화된 CCA에서 효율적 정규화 및 모델 선택을 통해 모델 일반화 및 수치적 안정성을 향상시키기.
• 다중 모odal 검색에 더 효과적이고 평균 word2vec을 능가하는 문장 임베딩 방법 개발하기.
• 단지 오프더쇼프 이미지 및 텍스트 특징만을 사용하여 표준 벤치마크에서 최신 기술 수준의 검색 성능 달성하기.

제안 방법

• AW-CCA는 캐논리컬 상관관계를 사용하여 캐논리컬 상관관계 가중치를 비대칭적으로 가중하여 검색 공간 항목을 쿼리 공간으로 매핑함으로써 검색 성능을 향상시킨다.
• 정규화된 CCA는 Björk-Golub 알고리즘을 사용한 스펙트럼 필터링을 통해 구현되며, 두 가지 정규화 가족(Tikhonov 및 단절된 SVD(T-SVD))을 포함한다.
• T-SVD 정규화의 빠른 계산 특성을 활용하여 Tikhonov 정규화 경로 선택을 안내하는 하이브리드 교차검증 전략을 제안한다. 이는 효율적이고 안정적인 모델 선택을 가능하게 한다.
• 계층적 커널 문장 임베딩(HKSE)은 단어 임베딩(예: word2vec)을 계층적 커널 방법을 사용해 집계하며, 벡터 공간에서 단어 분포 유사도를 모델링하여 단순 평균화보다 우수한 성능을 낸다.
• 최종 시스템은 AW-CCA와 HKSE, 코사인 유사도를 조합하여 다중 모odal 매칭을 가능하게 하며, 종단간 이중 방향 검색을 지원한다.
• 모델 선택은 검증 세트를 사용하여 수행되며, 표준 지표(r@1, r@5, r@10, 중앙값 순위)를 사용해 MSCOCO 및 Flickr 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 CCA 가중치의 비대칭 가중 처리를 통해 검색 항목을 쿼리 공간으로 매핑하는 것이 이중 방향 검색 성능을 향상시키는가?
• RQ2 계산 효율적인 교차검증 전략을 통해 T-SVD 정규화를 CCA에 효과적으로 적용할 수 있는가?
• RQ3 계층적 커널 기반 문장 임베딩 방법이 다중 모달 검색 작업에서 평균 word2vec을 능가할 수 있는가?
• RQ4 AW-CCA, HKSE 및 효율적 정규화의 조합이 표준 이미지-텍스트 검색 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 비대칭 가중 처리를 적용한 AW-CCA는 표준 CCA 및 다중 시각적 매핑 방법에 비해 이미지 검색 및 이미지 캡션 검색 성능을 크게 향상시킨다.
• 제안된 T-SVD 지도 Tikhonov 교차검증은 빠르고 안정적인 모델 선택을 가능하게 하며, 최소한의 계산 오버헤드로 일반화 성능을 향상시킨다.
• HKSE는 문장 임베딩 방법으로서 평균 word2vec을 능가하며, 단어 수준 표현의 더 효과적인 집계를 제공한다.
• MSCOCO 벤치마크(1,000장의 테스트 이미지)에서 최적의 구성(AW-G-Tikh-CCA + ResNet + [HKSE(lin,rbf)||HKSE(rbf,rbf)])은 이미지 검색에 대해 39.68%의 r@1, 이미지 주석 생성에 대해 55.16%의 r@1 성능을 기록한다.
• Flickr 30K 벤치마크에서는 동일한 구성이 이미지 검색에 대해 31.48%의 r@1, 이미지 주석 생성에 대해 43.83%의 r@1 성능을 기록한다.
• 이 방법은 최적화된 특징을 요구하지 않고, 오프더쇼프 이미지 및 텍스트 임베딩만을 사용하여 MSCOCO 및 Flickr 벤치마크에서 최신 기술 수준의 결과를 달성한다.