[論文レビュー] A Multimodal Late Fusion Model for E-Commerce Product Classification

Ye Bi, Shuo Wang+1 more|arXiv (Cornell University)|Aug 14, 2020

Text and Document Classification Technologies参考文献 11被引用数 12

ひとこと要約

本論文は、フランス語のテキストにCamemBERTを、画像にResNetベースの分類器を用い、意思決定レベルのファージョンによりテキストと画像分類器を統合するマルチモーダルなラテナルファージョンモデルを提案する。この手法はSIGIR 2020 E-Commerceワークショップチャレンジでマクロ-F1スコア91.44を達成し、1位を獲得した。

ABSTRACT

The cataloging of product listings is a fundamental problem for most e-commerce platforms. Despite promising results obtained by unimodal-based methods, it can be expected that their performance can be further boosted by the consideration of multimodal product information. In this study, we investigated a multimodal late fusion approach based on text and image modalities to categorize e-commerce products on Rakuten. Specifically, we developed modal specific state-of-the-art deep neural networks for each input modal, and then fused them at the decision level. Experimental results on Multimodal Product Classification Task of SIGIR 2020 E-Commerce Workshop Data Challenge demonstrate the superiority and effectiveness of our proposed method compared with unimodal and other multimodal methods. Our team named pa_curis won the 1st place with a macro-F1 of 0.9144 on the final leaderboard.

研究の動機と目的

• マルチモーダルデータを用いて、大規模で不均衡かつノイズの多いE-Commerce製品分類の課題に取り組む。
• テキストと画像のモダリティを統合することで、単一モダリティのアプローチを上回る分類性能を向上させる。
• 実世界のE-Commerce環境における特徴レベルと意思決定レベルのファージョン戦略を評価・比較する。
• SIGIR 2020 E-Commerceワークショップデータチャレンジで最先端のパフォーマンスを達成する。

提案手法

• 製品のタイトルと説明文に微調整されたCamemBERT-baseおよびCamemBERT-largeを用いて、フランス語のテキスト表現を実装した。
• データのノイズ除去とDCL（分散型対照学習）を用いて、製品画像で訓練されたResNetベースの画像分類器を採用し、特徴学習を向上させた。
• 2段階の意思決定レベルファージョン戦略を実装した：まず各モダリティ固有の分類器を訓練し、次に各モダリティの分類確率を入力として浅いニューラルネットワークを訓練した。
• 多数決投票を用いて、テキスト、画像、ファージョンモデルの12通りの多様な構成を統合するアンサンブル学習を適用した。
• ファージョンポリシーの訓練に8分割交差検証を用い、マクロ-F1スコアに基づいて最良のチェックポイントを選択した。
• cleanlabの確率的ラベル付けを用いてノイズ低減を実施し、学習データの品質を向上させた。

実験結果

リサーチクエスチョン

• RQ1 意思決定レベルのファージョンは、マルチモーダルなE-Commerce製品分類において特徴レベルのファージョンを上回るか？
• RQ2 最先端のフランス語NLPモデルとディープな画像分類器を組み合わせることで、大規模で不均衡な製品データセットにおける分類精度が向上するか？
• RQ3 実世界のE-Commerce環境において、モダリティ固有の分類器を用いたラテナルファージョンは、単一モダリティのベースラインと比較してどの程度効果的か？
• RQ4 モデルアンサンブルは、マルチモーダル製品分類においてどの程度パフォーマンスを向上させるか？

主な発見

• 意思決定レベルファージョンモデルは、テストセットのフェーズ1でマクロ-F1スコア90.94、フェーズ2で90.17を達成し、単一モダリティおよび特徴レベルファージョンのベースラインを上回った。
• 最終的なアンサンブルモデルは、最終順位表でマクロ-F1スコア91.44を達成し、SIGIR 2020 E-Commerceワークショップデータチャレンジで1位を獲得した。
• 単一モダリティのテキスト分類器はマクロ-F1スコア89.93を達成し、強力なパフォーマンスを示したが、マルチモーダルファージョンに及ばなかった。
• 特徴レベルファージョン手法は意思決定レベルファージョンに比べて劣る結果を示し、ラテナルファージョンがモダリティ固有の表現をより効果的に保持していることを示唆した。
• バックボーン、学習率、データのノイズ除去、ファージョンアーキテクチャを変更した12通りの多様な構成を用いたモデルアンサンブルにより、一貫したパフォーマンス向上が得られた。
• cleanlabを用いたノイズ低減により、特に極めて不均衡なカテゴリ分布がある状況でも、モデルの一般化性能が向上した。