[논문 리뷰] FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal Retrieval

Dehong Gao, Linbo Jin외 6명|arXiv (Cornell University)|2020. 05. 20.

Multimodal Machine Learning Applications참고 문헌 37인용 수 6

한 줄 요약

FashionBERT는 패ッチ 기반 이미지 특징과 BERT 기반 아키텍처를 활용하여 세분화된 텍스트-이미지 정렬을 달성하는 크로스모달 검색 모델을 제안한다. 다중태스크 학습을 위한 적응형 손실을 도입하여 공개 패션 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하고, 실세계 응용에서 뛰어난 추론 효율성을 보여준다.

ABSTRACT

In this paper, we address the text and image matching in cross-modal retrieval of the fashion industry. Different from the matching in the general domain, the fashion matching is required to pay much more attention to the fine-grained information in the fashion images and texts. Pioneer approaches detect the region of interests (i.e., RoIs) from images and use the RoI embeddings as image representations. In general, RoIs tend to represent the "object-level" information in the fashion images, while fashion texts are prone to describe more detailed information, e.g. styles, attributes. RoIs are thus not fine-grained enough for fashion text and image matching. To this end, we propose FashionBERT, which leverages patches as image features. With the pre-trained BERT model as the backbone network, FashionBERT learns high level representations of texts and images. Meanwhile, we propose an adaptive loss to trade off multitask learning in the FashionBERT modeling. Two tasks (i.e., text and image matching and cross-modal retrieval) are incorporated to evaluate FashionBERT. On the public dataset, experiments demonstrate FashionBERT achieves significant improvements in performances than the baseline and state-of-the-art approaches. In practice, FashionBERT is applied in a concrete cross-modal retrieval application. We provide the detailed matching performance and inference efficiency analysis.

연구 동기 및 목표

• 기존 영역-중심(ROI) 방법이 부족한 세분성으로 인해 패션 검색에서 세분화된 텍스트와 이미지 매칭 문제를 해결하기 위해.
• 더 rich한 시각적 세부 정보를 확보하기 위해 ROI 임베딩을 패치 기반 이미지 표현으로 대체하여 크로스모달 정렬을 향상시키기 위해.
• 텍스트-이미지 매칭 및 크로스모달 검색의 공동 학습을 균형 있게 조정하는 새로운 적응형 손실을 통해 다중모달 학습을 향상시키기 위해.
• 실세계 패션 검색 응용에서 모델의 효과성과 효율성을 검증하기 위해.
• 패션 전자상거래 플랫폼에 산업적 배포를 위한 강력하고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• FashionBERT는 사전 훈련된 BERT 기반 백본을 사용하여 텍스트 및 이미지 입력을 공유 임베딩 공간으로 함께 인코딩한다.
• 이미지 특징은 영역-중심(ROI) 검출 대신 패치 기반 접근 방식을 사용하여 더 세분화된 시각적 표현을 가능하게 한다.
• 모델은 다중태스크 학습 프레임워크를 통해 텍스트-이미지 매칭과 크로스모달 검색이라는 두 가지 작업을 공동 최적화한다.
• 적응형 손실 함수는 두 작업 간의 기울기 균형을 동적으로 조정하여 훈련 안정성과 성능을 향상시킨다.
• 주의 메커니즘을 활용하여 크로스모달 종속성을 포착하는 엔드 투 엔드 학습을 가능하게 하는 아키텍처를 구현한다.
• 모델은 공개 패션 데이터셋에서 미세조정되고, 검색 정확도와 추론 속도 기준으로 평가된다.

실험 결과

연구 질문

• RQ1 ROI 기반 방법과 비교해 패치 기반 이미지 특징이 패션 텍스트와 이미지 간의 세분화된 정렬에 기여하는가?
• RQ2 적응형 손실 함수는 크로스모달 패션 검색에서 다중태스크 학습을 어떻게 향상시키는가?
• RQ3 제안된 FashionBERT 모델은 최신 기술 수준의 기준 모델들보다 뛰어난 검색 성능을 달성하는가?
• RQ4 실세계 배포 시나리오에서 FashionBERT의 추론 효율성은 어떠한가?
• RQ5 모델은 실용적인 패션 전자상거래 응용에 잘 일반화되는가?

주요 결과

• FashionBERT는 공개 패션 검색 벤치마크에서 베이스라인 및 최신 기술 수준의 방법들보다 뚜렷한 성능 향상을 달성한다.
• 패치 기반 특징 추출 방법은 ROI 기반 접근 방식보다 더 세부적인 시각적 특징을 포착하여 세분화된 매칭을 향상시킨다.
• 적응형 손실 함수는 다중태스크 학습을 효과적으로 균형 조정하여 빠른 수렴과 더 나은 일반화를 이끈다.
• 모델는 뛰어난 추론 효율성을 보이며, 패션 전자상거래에서 실시간 응용에 적합하다.
• 실증 결과는 매칭 및 검색 작업의 공동 최적화가 전체 검색 정확도를 향상시킴을 확인한다.
• 표준 평가 지표에서 기존 접근 방식들을 능가하는 성능을 보이며, 크로스모달 패션 검색에서의 효과성을 입증한다.