[論文レビュー] Multi-Modal Attribute Extraction for E-Commerce

Aloïs De la Comble, Anuvabh Dutt+2 more|arXiv (Cornell University)|Mar 7, 2022

Web Data Mining and Analysis被引用数 6

ひとこと要約

本論文は、電子商取引におけるマルチモーダル製品属性抽出のための新規なモダリティアテンション機構を提案する。テキストと画像特徴を学習可能なアテンション重みで統合し、製品ごとに最も情報量の多いモダリティを動的に優先する。さらに、モダリティ崩壊を緩和する原理的で整合性のある正則化スキームを導入し、Rakuten-Ichibaおよび公開ベンチマークで最先端の性能を達成。実環境での運用にも成功している。

ABSTRACT

To improve users' experience as they navigate the myriad of options offered by online marketplaces, it is essential to have well-organized product catalogs. One key ingredient to that is the availability of product attributes such as color or material. However, on some marketplaces such as Rakuten-Ichiba, which we focus on, attribute information is often incomplete or even missing. One promising solution to this problem is to rely on deep models pre-trained on large corpora to predict attributes from unstructured data, such as product descriptive texts and images (referred to as modalities in this paper). However, we find that achieving satisfactory performance with this approach is not straightforward but rather the result of several refinements, which we discuss in this paper. We provide a detailed description of our approach to attribute extraction, from investigating strong single-modality methods, to building a solid multimodal model combining textual and visual information. One key component of our multimodal architecture is a novel approach to seamlessly combine modalities, which is inspired by our single-modality investigations. In practice, we notice that this new modality-merging method may suffer from a modality collapse issue, i.e., it neglects one modality. Hence, we further propose a mitigation to this problem based on a principled regularization scheme. Experiments on Rakuten-Ichiba data provide empirical evidence for the benefits of our approach, which has been also successfully deployed to Rakuten-Ichiba. We also report results on publicly available datasets showing that our model is competitive compared to several recent multimodal and unimodal baselines.

研究の動機と目的

• Rakuten-Ichibaのようなプラットフォームでは売り手がしばしば非構造的なテキストのみを提供するため、電子商取引のカタログにおける不完全または欠落した製品属性の課題に対処すること。
• 属性抽出における単一モダリティモデル（テキストのみ、画像のみ）の性能と信頼性を調査し、マルチモーダル統合設計の根拠を得ること。
• 製品固有の関連性に基づき、テキストまたは画像モダリティへの重要度を動的に割り当てられる柔軟なマルチモーダル統合戦略を開発すること。
• モデルが一方のモダリティを無視する「モダリティ崩壊」問題を、原理的で整合性のある正則化スキームにより体系的に防止し、両モダリティのバランスの取れた使用を保証すること。
• 独自および公開データセットを用いた広範な実験を通じて、提案手法の有効性を実証するとともに、実環境での運用検証を実施すること。

提案手法

• 製品説明および画像から高レベル表現を抽出するために、BERTをテキスト用、ResNetを画像用に事前学習済みの深層モデルを活用する。
• 入力固有のモダリティ効用に基づき、動的統合を可能にする学習可能なアテンション重みを計算するモダリティアテンション機構を提案する。
• 両モダリティにわたるバランスの取れたアテンションを促進する正則化項を損失関数に導入し、モデルが一方のモダリティに依存するのを防ぐ。
• アテンション重み付け後のモダリティ固有表現を連結するライトフェージョン戦略を実装し、その後にマルチラベル属性予測用の分類ヘッドを適用する。
• ラベルスムージングと重み減衰を用いた交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練し、ドメイン特化の電子商取引データでファインチューニングする。
• 最終アーキテクチャの耐障害性と効率性を検証するために、知識蒸留およびアーキテクチャのアブレーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 実世界の電子商取引データにおいて、属性抽出の観点でテキストと画像のどちらのモダリティが最も優れているか。また、これは製品カテゴリによって異なるか？
• RQ2 テキスト特徴と視覚的特徴を効果的に統合する方法は何か。特に、単純な早期統合や後期統合を超える方法は？
• RQ3 マルチモーダルモデルにおけるモダリティ崩壊の原因は何か。訓練中に体系的に防止するにはどうすればよいか？
• RQ4 学習可能な動的統合機構は、固定された統合戦略（例：連結や早期統合）を上回る性能を実現できるか。実世界の電子商取引環境で？
• RQ5 提案手法は、公開ベンチマークおよび独自の電子商取引データを含む、さまざまなデータセットに一般化できるか？

主な発見

• Rakuten-Ichibaにおいて、正則化付きのモダリティアテンションモデル（λ=5e-4）は、色の予測で60.6％のマイクロ-F1と69.2％の加重-F1を達成し、ベースラインを上回った。
• Rakuten-Ichibaにおける素材属性予測では、68.1％のマイクロ-F1を達成し、困難な実世界データセットでも強力な性能を示した。
• MM-IMDBベンチマークでは、モダリティアテンション（λ=0.0）を用いて93.5％の精度を達成し、MMBT や DMSRC を含む大多数のベースラインを上回った。
• UPMC FOOD-101では、λ=0.1で93.7％の精度を達成し、MMBT や DMSRC などの複雑なマルチモーダルモデルと同等またはそれ以上の性能を示した。
• 人間による評価では、モデルの予測が信頼性があり実用的であることが確認され、Rakuten-Ichibaでの実運用に成功した。
• アブレーションスタディの結果、モダリティアテンションは、特にモダリティ性能に偏りがある状況下で、単純な連結や早期統合を顕著に上回った。