[論文レビュー] Large Scale Multimodal Classification Using an Ensemble of Transformer Models and Co-Attention

Varnith Chordia, Vijay Kumar B G|arXiv (Cornell University)|Nov 23, 2020

Multimodal Machine Learning Applications参考文献 19被引用数 8

ひとこと要約

本論文は、大規模な電子商取引における製品分類のため、画像とテキスト特徴を共同で活用するため、コアテンションを用いたトランスフォーマーのアンサンブルを用いたマルチモーダル分類フレームワークを提案する。事前学習済みのCLIP埋め込みに二重アテンションを適用することで、SIGIR eCom Rakuten Data Challengeにおいて最先端の性能を達成し、単一モodalおよび標準的なマルチモーダルベースラインを上回った。これは、クロスモーダル特徴の相互作用が向上したためである。

ABSTRACT

Accurate and efficient product classification is significant for E-commerce applications, as it enables various downstream tasks such as recommendation, retrieval, and pricing. Items often contain textual and visual information, and utilizing both modalities usually outperforms classification utilizing either mode alone. In this paper we describe our methodology and results for the SIGIR eCom Rakuten Data Challenge. We employ a dual attention technique to model image-text relationships using pretrained language and image embeddings. While dual attention has been widely used for Visual Question Answering(VQA) tasks, ours is the first attempt to apply the concept for multimodal classification.

研究の動機と目的

• 視覚的およびテキスト的情報を活用することで、電子商取引における製品分類の正確性を向上させること。
• 複雑で多様な製品カテゴリを含む大規模データセットにおける、マルチモーダル信号の効果的統合の課題に対処すること。
• 視覚的質的回答（VQA）で使用されたことがらの二重アテンションメカニズムを、マルチモーダル分類設定に応用することの可能性を探ること。
• スケーラブルでアンサンブルベースのディープラーニングアプローチを用いて、SIGIR eCom Rakuten Data Challengeで高い性能を達成すること。

提案手法

• モデルは、初期のマルチモーダル埋め込みを抽出するために、事前学習済みのCLIP画像およびテキストエンコーダーを用いる。
• 二重アテンションメカニズムを適用して、画像およびテキスト特徴に対して動的に注目を向けることで、クロスモーダル特徴の最適化を可能にする。
• アテンションメカニズムは、画像およびテキストトークン間の適合スコアを計算し、文脈に応じた統合表現を生成する。
• 複数のトランスフォーマーに基づくモデルのアンサンブルを訓練し、平均化することで、耐性および一般化性能を向上させる。
• 最終的な予測ヘッドは、多層パーセプトロンを用いて、階層的なカテゴリに製品を分類する。
• フレームワークは、多数の製品画像および説明文を含むRakuten電子商取引データセット上で、エンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 二重アテンションメカニズムは、大規模製品分類のためのマルチモーダル表現学習を効果的に改善できるか？
• RQ2 電子商取引の文脈において、画像およびテキスト特徴の統合モデリングは、単一モーダルベースラインと比較してどのように異なるか？
• RQ3 複雑で現実世界の分類ベンチマークにおいて、複数のトランスフォーマー・モデルをアンサンブル化することで、どの程度性能が向上するか？
• RQ4 限定的なラベル付きデータで、事前学習済みのCLIP埋め込みを下流のマルチモーダル分類タスクに効果的に微調整できるか？

主な発見

• 提案されたアンサンブルモデルは、SIGIR eCom Rakuten Data Challengeで最高の性能を達成し、単一モーダルおよびマルチモーダルベースラインを上回った。
• 二重アテンションの使用により、より洗練されたクロスモーダル特徴の相互作用が可能になり、分類精度が著しく向上した。
• 多様な製品カテゴリにわたり強力な一般化性能を示し、ドメインシフトに対しても耐性があることが示された。
• 複数のトランスフォーマー・モデルをアンサンブル化することで、一貫した性能向上が得られ、ばらつきが低減され、信頼性が向上した。