[논문 리뷰] FashionViL: Fashion-Focused Vision-and-Language Representation Learning

Han Xiao, Licheng Yu외 4명|arXiv (Cornell University)|2022. 07. 17.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

FashionViL은 패션 도메인에 특화된 시각-언어 표현 학습 프레임워크를 제안하며, 다중 시각 대비 학습과 가짜 속성 분류를 도입하여 다중 이미지 입력과 세분화된 텍스트 속성을 효과적으로 활용한다. 이는 다섯 가지 패션 관련 후행 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 모odal-무관한 Transformer 아키텍처를 통해 뛰어난 일반화 능력과 유연성을 입증한다.

ABSTRACT

Large-scale Vision-and-Language (V+L) pre-training for representation learning has proven to be effective in boosting various downstream V+L tasks. However, when it comes to the fashion domain, existing V+L methods are inadequate as they overlook the unique characteristics of both the fashion V+L data and downstream tasks. In this work, we propose a novel fashion-focused V+L representation learning framework, dubbed as FashionViL. It contains two novel fashion-specific pre-training tasks designed particularly to exploit two intrinsic attributes with fashion V+L data. First, in contrast to other domains where a V+L data point contains only a single image-text pair, there could be multiple images in the fashion domain. We thus propose a Multi-View Contrastive Learning task for pulling closer the visual representation of one image to the compositional multimodal representation of another image+text. Second, fashion text (e.g., product description) often contains rich fine-grained concepts (attributes/noun phrases). To exploit this, a Pseudo-Attributes Classification task is introduced to encourage the learned unimodal (visual/textual) representations of the same concept to be adjacent. Further, fashion V+L tasks uniquely include ones that do not conform to the common one-stream or two-stream architectures (e.g., text-guided image retrieval). We thus propose a flexible, versatile V+L model architecture consisting of a modality-agnostic Transformer so that it can be flexibly adapted to any downstream tasks. Extensive experiments show that our FashionViL achieves a new state of the art across five downstream tasks. Code is available at https://github.com/BrandonHanx/mmf.

연구 동기 및 목표

• 일반적인 시각-언어 사전학습 모델이 패션 데이터의 고유한 특성(예: 다중 시각 이미지, 세분화된 속성)을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 표준 일스트림 또는 이스트림 아키텍처에 어울리지 않는 다양한 패션 후행 작업에 적응할 수 있는 유연하고 다재다능한 모델 아키텍처를 설계하기 위해.
• 패션 데이터의 본질적 특성에 맞게 특화된 두 가지 새로운 사전학습 작업을 도입하여 다모달 표현 학습을 향상시키기 위해.
• 다섯 가지 다양한 패션 중심의 시각-언어 후행 작업에서 최신 기술 수준(SOTA) 성능을 달성하기 위해.

제안 방법

• 동일한 패션 아이템의 여러 시각적 시야를 활용하여, 한 이미지의 시각적 표현을 다른 이미지-텍스트 쌍의 조합 다모달 표현과 정렬하는 다중 시각 대비 학습 작업을 제안한다.
• 동일한 세분화된 속성에 대한 단모달 표현(시각적 및 텍스트적)이 임베딩 공간에서 가까워지도록 유도하기 위해 가짜 속성 분류 작업을 도입하여, 속성 수준의 정렬을 향상시킨다.
• 다양한 후행 작업(예: 텍스트 기반 이미지 검색 등)에 대한 탄력적인 적응을 가능하게 하는 모달-무관한 Transformer 아키텍처를 활용한다. 이는 표준 일스트림 또는 이스트림 아키텍처에 부합하지 않는 작업에도 유연하게 대응할 수 있다.
• 학습 효율성과 표현 품질 향상을 위해 VQ-VAE 기반의 이미지 토큰화 방법을 사용하여 이산적 시각 표현을 학습한다.
• 피너튜닝 단계에서 대비 손실과 교차 엔트로피 손실을 적용하며, 각 후행 작업에 맞는 태스크별 초모델 하이퍼파라미터와 데이터 증강 전략을 적용한다.
• 원본 코드와 데이터 분할이 확보되지 않아 재현 가능성을 확보하기 위해 OCIR 벤치마크에 대해 새로운 데이터 분할을 재구현하고 공개한다.

실험 결과

연구 질문

• RQ1 동일한 아이템의 다수의 이미지를 활용함으로써 다중 시각 대비 학습이 패션 V+L의 표현 학습을 향상시킬 수 있는가?
• RQ2 가짜 속성 분류가 패션 설명에서 세분화된 시각적 및 텍스트적 속성을 보다 잘 포착할 수 있도록 모델의 능력을 향상시키는가?
• RQ3 모달-무관한 Transformer 아키텍처가 표준적인 검색 설정 외의 다양한 패션 V+L 후행 작업을 효과적으로 처리할 수 있는가?
• RQ4 일반적인 V+L 모델에 비해 패션 전용 목표로 사전학습을 수행할 경우, 후행 작업 성능 향상 정도는 어느 정도인가?

주요 결과

• FashionViL은 텍스트 기반 이미지 검색, 옷 스타일 보완 아이템 검색, 카테고리/서브카테고리 인식 등 다섯 가지 패션 중심 후행 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 사전학습을 통해 다중 이미지 서브카테고리 인식(M-SCR)에서 84.30%의 정확도를 기록한 반면, 사전학습 없이선 83.02%를 기록하여 제안된 사전학습 작업의 효과를 입증한다.
• 카테고리 인식(CR)과 서브카테고리 인식(SCR) 작업에서 사전학습된 모델이 비사전학습 기반 모델 대비 매크로-F1에서 각각 13.32%와 11.14% 향상된 성능을 기록한다.
• t-SNE 시각화 결과는 사전학습이 카테고리 및 서브카테고리 수준에서 다모달 표현의 클러스터링을 더 잘 이루도록 한다는 점을 확인하며, 더 나은 의미 정렬이 이루어졌음을 확인한다.
• 재현된 데이터 분할을 사용함에도 불구하고 OCIR 벤치마크에서 기존의 CSA-Net 원본 구현보다 뚜렷한 성능 향상을 기록하며 기존 SOTA 방법을 초월한다.
• 제거 실험 결과, 다중 시각 대비 학습과 가짜 속성 분류 작업 모두 최종 성능 향상에 기여하며, 특히 세분화된 속성 이해도 향상에서 두드러진 성과를 보였다.