[논문 리뷰] M5Product: A Multi-modal Pretraining Benchmark for E-commercial Product Downstream Tasks

Xiao Dong, Xunlin Zhan외 3명|arXiv (Cornell University)|2021. 01. 01.

Multimodal Machine Learning Applications참고 문헌 53인용 수 6

한 줄 요약

이 논문은 6,000개의 카테고리와 5,000개의 속성에 걸쳐 600만 개 이상의 이미지-텍스트-테이블-비디오-오디오 쌍을 포함하는 대규모 다중모달 사전학습 기준점 M5Product를 소개한다. 이는 전자상거래 후행 작업을 지원하도록 설계되었다. 또한 통합된 다중모달 특징 융합을 위한 M5-MMT 모델을 제안하며, 네 가지 후행 작업에서 광범위한 평가를 수행하여 뛰어난 성능과 모달리티 간 상호작용에 대한 통찰을 입증한다.

ABSTRACT

In this paper, we aim to advance the research of multi-modal pre-training on E-commerce and subsequently contribute a large-scale dataset, named M5Product, which consists of over 6 million multimodal pairs, covering more than 6,000 categories and 5,000 attributes. Generally, existing multi-modal datasets are either limited in scale or modality diversity. Differently, our M5Product is featured from the following aspects. First, the M5Product dataset is 500 times larger than the public multimodal dataset with the same number of modalities and nearly twice larger compared with the largest available text-image cross-modal dataset. Second, the dataset contains rich information of multiple modalities including image, text, table, video and audio, in which each modality can capture different views of semantic information (e.g. category, attributes, affordance, brand, preference) and complements the other. Third, to better accommodate with real-world problems, a few portion of M5Product contains incomplete modality pairs and noises while having the long-tailed distribution, which aligns well with real-world scenarios. Finally, we provide a baseline model M5-MMT that makes the first attempt to integrate the different modality configuration into an unified model for feature fusion to address the great challenge for semantic alignment. We also evaluate various multi-model pre-training state-of-the-arts for benchmarking their capabilities in learning from unlabeled data under the different number of modalities on the M5Product dataset. We conduct extensive experiments on four downstream tasks and provide some interesting findings on these modalities. Our dataset and related code are available at this https URL.

연구 동기 및 목표

• 전자상거래 사전학습을 위한 대규모, 다양한, 현실적인 다중모달 데이터셋의 부족을 해결하기 위해.
• 이질적인 모달리티(이미지, 텍스트, 테이블, 비디오, 오디오)를 융합할 수 있는 통합된 다중모달 모델을 개발하여 의미적 정렬을 달성하기 위해.
• 실제로 존재하는, 긴 꼬리 분포를 띠며 일부 모달리티가 누락된 데이터셋에서 최신 다중모달 사전학습 방법을 평가하기 위해.
• 실제 전자상거래 환경에서 다양한 수의 모달리티를 고려한 다중모달 학습 평가를 위한 기준점을 제공하기 위해.

제안 방법

• 6,000개의 카테고리와 5,000개의 속성을 포함하는 600만 개 이상의 다중모달 쌍을 포함하는 M5Product 데이터셋 구축.
• 이미지, 텍스트, 테이블, 비디오, 오디오 등 다양한 모달리티를 통합하여 각각 브랜드, 속성, 기능 등 독립적인 의미적 시각을 제공.
• 다양한 모달리티 구성이 통합된 단일 아키텍처로 구현된 M5-MMT 설계를 통해 엔드 투 엔드 특징 융합을 실현.
• 실제 데이터 분포를 반영하기 위해 일부 모달리티가 누락된 쌍과 노이즈가 포함된 샘플을 포함하여, 긴 꼬리 분포의 카테고리 및 속성 빈도를 반영.
• M5Product 기준점을 사용해 네 가지 후행 작업에서 최신 다중모달 사전학습 모델을 평가.
• 다양한 모달리티 가용성 조건에서 모달리티 기여도와 융합 전략을 분석하기 위해 광범위한 추론 실험 수행.

실험 결과

연구 질문

• RQ1 대규모이고 현실적인 전자상거래 데이터셋에서, 다중모달 사전학습 모델의 성능은 입력 모달리티 수에 따라 어떻게 변화하는가?
• RQ2 모달리티의 완전성과 노이즈는 실제 전자상거래 환경에서 다중모달 표현 학습에 어떤 영향을 미치는가?
• RQ3 통합된 모델 아키텍처는 이질적인 모달리티(이미지, 텍스트, 테이블, 비디오, 오디오)를 의미적 정렬을 위해 융합하는 데 얼마나 효과적인가?
• RQ4 다른 모달리티(예: 이미지 대비 오디오)의 상대적 기여도는 후행 전자상거래 작업 성능에 어떤 영향을 미치는가?
• RQ5 카테고리와 속성의 긴 꼬리 분포가 다중모달 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• M5Product는 동일한 수의 모달리티를 가진 유사한 공개 다중모달 데이터셋보다 500배 이상 크며, 가장 큰 기존 텍스트-이미지 데이터셋의 거의 두 배 크기이다.
• 이미지, 텍스트, 테이블, 비디오, 오디오 등 다섯 가지 모달리티의 통합은 단일 또는 双모달 설정 대비 의미적 표현 학습을 크게 향상시킨다.
• M5Product에서 훈련된 모델은 실제 운영 조건을 반영한 일부 모달리티가 누락되거나 노이즈가 포함된 입력에 대해 뛰어난 강건성을 보이며, 이는 실제 환경 적용에 유리하다.
• M5-MMT 모델은 네 가지 후행 작업에서 뛰어난 성능을 기록하여 통합된 다중모달 융합의 효과성을 입증한다.
• 실험 결과, 작업에 따라 이미지나 텍스트와 같은 일부 모달리티가 비디오나 오디오보다 더 일관되게 기여하는 것으로 나타났다.
• 기준점은 모달리티를 추가함에 따라 성능 향상 폭이 특정 지점 이후에 감소함을 드러내며, 모델 복잡도와 데이터 효율성 간의 상충 관계를 시사한다.