[논문 리뷰] TRACE: Transform Aggregate and Compose Visiolinguistic Representations for Image Search with Text Feedback

Surgan Jandial, Ayush Chopra외 4명|arXiv (Cornell University)|2020. 09. 03.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

TRACE는 참조 이미지와 자연어 피드백에서 유 visiolinguistic 표현을 복합화하여 미세한 텍스트 제약 조건을 갖춘 이미지 검색을 향상시키는 새로운 계층적 특징 통합 아키텍처를 제안한다. FashionIQ, Shoes, Birds-to-Words에서 최신 기술 수준을 달성하여 각각 R@K를 최소 5.7%, 3%, 5% 향상시킨다.

ABSTRACT

The ability to efficiently search for images over an indexed database is the cornerstone for several user experiences. Incorporating user feedback, through multi-modal inputs provide flexible and interaction to serve fine-grained specificity in requirements. We specifically focus on text feedback, through descriptive natural language queries. Given a reference image and textual user feedback, our goal is to retrieve images that satisfy constraints specified by both of these input modalities. The task is challenging as it requires understanding the textual semantics from the text feedback and then applying these changes to the visual representation. To address these challenges, we propose a novel architecture TRACE which contains a hierarchical feature aggregation module to learn the composite visio-linguistic representations. TRACE achieves the SOTA performance on 3 benchmark datasets: FashionIQ, Shoes, and Birds-to-Words, with an average improvement of at least ~5.7%, ~3%, and ~5% respectively in R@K metric. Our extensive experiments and ablation studies show that TRACE consistently outperforms the existing techniques by significant margins both quantitatively and qualitatively.

연구 동기 및 목표

• 사용자가 제공한 텍스트 피드백과 참조 이미지를 통합하여 정교한 검색을 위한 이미지 검색을 향상시키기 위해.
• 다중 모odal 환경에서 텍스트 의미를 시각적 표현 변화와 정렬하는 데 도전하는 것.
• 향상된 검색 정확도를 위해 복합 시비어링어스 표현을 학습하는 통합 아키텍처를 개발하기 위해.
• 실제 사용자 피드백 시나리오에서 표준 벤치마크에서 기존 방법을 능가하기 위해.

제안 방법

• TRACE는 참조 이미지의 시각적 특징과 사용자 피드백의 텍스트 임베딩을 점진적으로 융합하기 위해 계층적 특징 통합 모듈을 사용한다.
• 아키텍처는 다양한 추상 수준에서 두 모odal 모두에 주의를 기울이며 복합 표현을 학습한다.
• 학습 중에 복합 표현을 관련 이미지 특징과 정렬하기 위해 대비 학습을 활용한다.
• 모델은 이미지-텍스트 피드백 쌍 데이터를 기반으로 엔드 투 엔드로 훈련되어 검색 성능을 최적화한다.
• 비교적 새로운 조합의 시각적 및 텍스트 제약 조건에 일반화함으로써 제로샷 적응을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 및 텍스트 모달을 효과적으로 복합화하여 이미지 검색에서 사용자 의도를 표현할 수 있는가?
• RQ2 계층적 특징 통합은 이미지 검색을 위한 다중 모달 표현 학습에 얼마나 기여하는가?
• RQ3 모델은 미세조정 없이도 새로운 조합의 이미지 및 텍스트 피드백에 일반화할 수 있는가?
• RQ4 다양한 벤치마크에서 기존 방법과 비교해 본다면, 제안된 아키텍처는 검색 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• TRACE는 기존 방법과 비교해 FashionIQ 벤치마크에서 R@K 평균 5.7% 향상되었다.
• Shoes 데이터셋에서는 기존 최신 기술 수준의 접근 방식보다 R@K가 최소 3% 향상되었다.
• Birds-to-Words 데이터셋에서는 R@K 평균 5% 향상으로 강력한 일반화 능력을 입증했다.
• 제거 실험 결과 계층적 특징 통합 모듈이 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 정성적 결과는 TRACE가 사용자 피드백이 암시하는 미세한 시각적 변화를 정확히 포착하고 있음을 보여주었다.