[논문 리뷰] Image Search with Text Feedback by Additive Attention Compositional Learning

Yuxin Tian, Shawn Newsam외 1명|arXiv (Cornell University)|2022. 03. 08.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 이미지와 텍스트 피드백을 공동으로 모델링하여 정교한 이미지 검색을 위한 트랜스포머 기반 방법인 Additive Attention Compositional Learning (AACL)을 제안한다. AACL은 텍스트 기반 기술에 따라 이미지 특징을 선택적으로 수정할 수 있도록 글로벌 컨텍스트 벡터를 학습하며, FashionIQ, Fashion200k 및 새로운 Shopping100k 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Effective image retrieval with text feedback stands to impact a range of real-world applications, such as e-commerce. Given a source image and text feedback that describes the desired modifications to that image, the goal is to retrieve the target images that resemble the source yet satisfy the given modifications by composing a multi-modal (image-text) query. We propose a novel solution to this problem, Additive Attention Compositional Learning (AACL), that uses a multi-modal transformer-based architecture and effectively models the image-text contexts. Specifically, we propose a novel image-text composition module based on additive attention that can be seamlessly plugged into deep neural networks. We also introduce a new challenging benchmark derived from the Shopping100k dataset. AACL is evaluated on three large-scale datasets (FashionIQ, Fashion200k, and Shopping100k), each with strong baselines. Extensive experiments show that AACL achieves new state-of-the-art results on all three datasets.

연구 동기 및 목표

• 원하는 수정 사항을 설명하는 자연어 피드백을 사용하여 이미지 검색 결과를 정교화하는 도전 과제를 해결하기 위해.
• 기존 방법들이 컨volutional 특징 집합에 의존하고 이미지-텍스트 컨텍스트의 효율적 글로벌 모델링을 부족하게 하는 점을 극복하기 위해.
• 시각적 및 언어적 표현을 효과적으로 조합하여 상호작용적 이미지 검색을 위한 일반적인 목적의 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 다양한 속성의 이미지 수정 작업을 보다 잘 평가하기 위해 Shopping100k에서 파생된 새로운 도전적인 벤치마크 데이터셋을 만들기 위해.
• 복잡한 다중 속성 피드백을 포함한 다양한 대규모 패션 검색 데이터셋에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 이중 이미지-텍스트 표현에서 글로벌 컨텍스트 벡터를 계산하는 새로운 다중 모odal 추가 주의 레이어를 제안한다.
• 학습 가능한 주의 기반 변환 기반 메커니즘을 통해 컨텍스트 벡터를 사용해 쿼리 이미지 토큰을 선택적으로 수정한다.
• 완전히 트랜스포머 기반 아키텍처에 추가 주의 모듈을 통합하여 공동 시각-언어 특징 학습을 수행한다.
• 이미지 토큰이 원래 특징과 컨텍스트 벡터를 사용하여 업데이트되는 잔차 스타일 업데이트 메커니즘을 적용한다.
• 학습 가능한 쿼리 벡터를 사용해 이미지 및 텍스트 특징에 주의를 기울이며, 동적이고 컨텍스트 인식 기반의 특징 조합을 가능하게 한다.
• 잠재 공간에서 복합 이미지-텍스트 표현을 대상 이미지와 정렬하기 위해 대비 학습 목표를 사용한다.

실험 결과

연구 질문

• RQ1 추가 주의가 자연어 피드백이 있는 이미지 검색을 위한 이미지와 텍스트의 공동 컨텍스트를 효과적으로 모델링할 수 있는가?
• RQ2 기존의 컨볼루션 또는 도트곱 주의에 의존하는 방법과 비교해 본다면, 제안된 AACL 프레임워크는 다중 속성 이미지 수정 작업에서 어떻게 성능을 내는가?
• RQ3 다양한 패션 데이터셋에서 속성 복잡도가 다를 경우 모델의 일반화 능력은 어느 정도인가?
• RQ4 성능 및 효율성 측면에서 추가 주의 메커니즘이 표준 도트곱 주의와 비교해 어떤 기여를 하는가?
• RQ5 다양한 상호작용 함수(예: 하다마드 곱 vs. 덧셈)는 이미지와 텍스트 특징의 조합 능력에 어떤 영향을 미치는가?

주요 결과

• AACL은 FashionIQ에서 최신 기술 수준의 성능을 달성하여 Recall@1이 58.98, Recall@50가 81.29를 기록하며 이전 방법들을 능가한다.
• Fashion200k에서 AACL은 Recall@1이 55.25, Recall@50가 84.66를 기록하며 다양한 데이터셋에 대한 강력한 일반화 능력을 보여준다.
• 두 가지 다른 속성을 가진 새로운 Shopping100k 벤치마크에서 AACL은 Recall@1이 49.20, Recall@50가 81.29를 기록하며 새로운 최신 기술 수준을 설정한다.
• 절단 분석 결과 추가 주의가 도트곱 주의보다 성능을 향상시키며 Recall@50에서 0.69점의 향상을 보였다.
• 상호작용 함수에서 하드마드 곱을 덧셈으로 대체하면 성능이 떨어지며, 이는 비선형 상호작용이 유리함을 시사한다.
• 주의 시각화 결과 모델이 핵심 의미어(예: '소매', '화이트', '더 긴')에 집중하고 있으며, 텍스트에 따라 관련 이미지 영역에 동적으로 주의를 기울임을 보였다.