[論文レビュー] M5Product: A Multi-modal Pretraining Benchmark for E-commercial Product Downstream Tasks

Xiao Dong, Xunlin Zhan+3 more|arXiv (Cornell University)|Jan 1, 2021

Multimodal Machine Learning Applications参考文献 53被引用数 6

ひとこと要約

本稿では、6,000のカテゴリーと5,000の属性をカバーする600万以上の画像・テキスト・テーブル・動画・音声ペアを含む大規模なマルチモーダル事前学習ベンチマーク「M5Product」を紹介する。Eコマースの下流タスクを支援することを目的としており、統合的マルチモーダル特徴統合を実現するM5-MMTモデルを提案。4つの下流タスクにおける広範な評価を通じて、優れた性能とモダリティ間相互作用の洞察を示している。

ABSTRACT

In this paper, we aim to advance the research of multi-modal pre-training on E-commerce and subsequently contribute a large-scale dataset, named M5Product, which consists of over 6 million multimodal pairs, covering more than 6,000 categories and 5,000 attributes. Generally, existing multi-modal datasets are either limited in scale or modality diversity. Differently, our M5Product is featured from the following aspects. First, the M5Product dataset is 500 times larger than the public multimodal dataset with the same number of modalities and nearly twice larger compared with the largest available text-image cross-modal dataset. Second, the dataset contains rich information of multiple modalities including image, text, table, video and audio, in which each modality can capture different views of semantic information (e.g. category, attributes, affordance, brand, preference) and complements the other. Third, to better accommodate with real-world problems, a few portion of M5Product contains incomplete modality pairs and noises while having the long-tailed distribution, which aligns well with real-world scenarios. Finally, we provide a baseline model M5-MMT that makes the first attempt to integrate the different modality configuration into an unified model for feature fusion to address the great challenge for semantic alignment. We also evaluate various multi-model pre-training state-of-the-arts for benchmarking their capabilities in learning from unlabeled data under the different number of modalities on the M5Product dataset. We conduct extensive experiments on four downstream tasks and provide some interesting findings on these modalities. Our dataset and related code are available at this https URL.

研究の動機と目的

• Eコマースの事前学習に適した大規模で多様かつ現実的なマルチモーダルデータセットの不足に対処すること。
• 画像、テキスト、テーブル、動画、音声といった異種モダリティを統合して意味的整合性を図る統合的マルチモーダルモデルの開発。
• 現実的で長尾分布かつ不完全なモダリティを有するデータセット上で、最先端のマルチモーダル事前学習手法を評価すること。
• 現実世界のEコマース環境における、異なる数のモダリティを有する状況下でマルチモーダル学習を評価するためのベンチマークを提供すること。

提案手法

• 6,000のカテゴリーと5,000の属性をカバーする600万以上のマルチモーダルペアを含むM5Productの構築。
• 画像、テキスト、テーブル、動画、音声といった多様なモダリティを統合。各モダリティはブランド、属性、機能など、異なる意味的視点を提供。
• 複数のモダリティ構成を統合的に1つのアーキテクチャに統合するM5-MMTの設計。エンドツーエンドの特徴統合を実現。
• 現実のデータ分布を反映するため、不完全なモダリティペアやノイズを含むサンプルを導入。長尾分布のカテゴリーおよび属性頻度を含む。
• M5Productベンチマークを用いて、4つの下流タスクにおける複数の最先端マルチモーダル事前学習モデルの評価。
• 異なるモダリティの可用性下でのモダリティ寄与度と統合戦略の分析を目的とした広範なアブレーションスタディの実施。

実験結果

リサーチクエスチョン

• RQ1 大規模で現実的なEコマースデータセット上でのマルチモーダル事前学習モデルの性能は、入力モダリティ数にどのように依存するか？
• RQ2 モダリティの完全性とノイズが、現実世界のEコマース環境におけるマルチモーダル表現学習に与える影響は何か？
• RQ3 統合的モデルアーキテクチャは、画像、テキスト、テーブル、動画、音声といった異種モダリティを統合して意味的整合性を図るのにどの程度効果的か？
• RQ4 異なるモダリティ（例：画像対音声）の相対的寄与度は、下流のEコマースタスクのパフォーマンスにどのように影響するか？
• RQ5 カテゴリーおよび属性の長尾分布は、マルチモーダルモデルの一般化性能にどのように影響するか？

主な発見

• M5Productは、同程度のモダリティ数を持つ他の公開マルチモーダルデータセットと比較して500倍以上大きく、最大の既存テキスト・画像データセットと比べてもほぼ2倍の規模である。
• 画像、テキスト、テーブル、動画、音声という5つのモダリティの統合は、単一または二重モダリティ設定と比較して、意味的表現学習の向上に顕著な寄与を示している。
• M5Productで学習したモデルは、不完全でノイズを含むモダリティ入力に対しても高いロバスト性を示しており、現実の展開環境を反映している。
• M5-MMTモデルは4つの下流タスクで優れたパフォーマンスを達成しており、統合的マルチモーダル統合の有効性を示している。
• 実験から、画像やテキストといったモダリティは、タスクに応じて一貫して高い寄与度を示す一方、動画や音声は一貫性に欠けることが判明した。
• ベンチマークの分析から、モダリティを追加してもパフォーマンス向上の恩恵が一定の点を過ぎては薄れることが示され、モデルの複雑さとデータ効率のトレードオフが生じることを示唆している。