[論文レビュー] CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification

Huidong Liu, Shaoyuan Xu+6 more|arXiv (Cornell University)|Dec 7, 2021

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

CMA-CLIPは、画像とテキストの分類性能を向上させるために、シーケンス単位およびモダリティ単位のクロスモダリティ注意メカニズムを統合した統合フレームワークを導入する。微細なパッチ-トークン関係をモデル化し、関連性に基づいてモダリティの重みを動的に設定することで、MRWPAデータセットでは90%の精度における再現率が11.9%向上し、Fashion-GenではSOTAより5.5%高い正確性を達成するとともに、ノイズの多い入力に対しても頑健である。

ABSTRACT

Modern Web systems such as social media and e-commerce contain rich contents expressed in images and text. Leveraging information from multi-modalities can improve the performance of machine learning tasks such as classification and recommendation. In this paper, we propose the Cross-Modality Attention Contrastive Language-Image Pre-training (CMA-CLIP), a new framework which unifies two types of cross-modality attentions, sequence-wise attention and modality-wise attention, to effectively fuse information from image and text pairs. The sequence-wise attention enables the framework to capture the fine-grained relationship between image patches and text tokens, while the modality-wise attention weighs each modality by its relevance to the downstream tasks. In addition, by adding task specific modality-wise attentions and multilayer perceptrons, our proposed framework is capable of performing multi-task classification with multi-modalities. We conduct experiments on a Major Retail Website Product Attribute (MRWPA) dataset and two public datasets, Food101 and Fashion-Gen. The results show that CMA-CLIP outperforms the pre-trained and fine-tuned CLIP by an average of 11.9% in recall at the same level of precision on the MRWPA dataset for multi-task classification. It also surpasses the state-of-the-art method on Fashion-Gen Dataset by 5.5% in accuracy and achieves competitive performance on Food101 Dataset. Through detailed ablation studies, we further demonstrate the effectiveness of both cross-modality attention modules and our method's robustness against noise in image and text inputs, which is a common challenge in practice.

研究の動機と目的

• 分類タスクの微調整中に、CLIPが微細な画像-テキスト関係をモデル化する能力に欠けるという問題に対処すること。
• 画像またはテキストの入力にノイズが含まれる場合の耐性を高めるために、モダリティの関連性重みを学習すること。
• タスク固有のモダリティ注意とMLPヘッドを備えた単一の統合ネットワークを用いて、マルチタスク分類を可能にすること。
• トレーニングおよび推論時に両方のモダリティを活用することで、CLIPの下流分類性能をゼロショット能力を超えて向上させること。

提案手法

• トランスフォーマーに基づくメカニズムを用いて、画像パッチとテキストトークンの間の微細な相関関係をモデル化するシーケンス単位の注意モジュールを統合する。
• 分類タスクに対する関連性に基づいて、画像とテキストモダリティの動的重みを学習するモダリティ単位の注意モジュールを採用する。
• マルチタスク学習を支援するため、CLIPバックボーンにタスク固有のモダリティ単位の注意ヘッドと多層パーセプトロン（MLP）を追加する。
• 画像-テキストペアに対してコントラスト損失を用いてモデルを訓練し、全アーキテクチャをエンドツーエンド最適化する。
• 注意の可視化を用いて、モデルが関連する画像パッチやテキストトークンにどのように注目しているかを解釈および検証する。

実験結果

リサーチクエスチョン

• RQ1 画像パッチとテキストトークンの間の微細なクロスモダリティ関係をモデル化することで、標準的なCLIPを上回る分類性能が達成可能か？
• RQ2 モダリティ固有の注意重みを学習することで、ノイズや不適切な画像またはテキスト入力に対する耐性が向上するか？
• RQ3 統合されたネットワークアーキテクチャは、共有表現を用いてマルチタスク画像-テキスト分類を効果的にサポートできるか？
• RQ4 実世界および公開ベンチマークにおいて、CMA-CLIPはSOTA手法と比較して正確性と耐性の面で優れているか？

主な発見

• MRWPAデータセットでは、3つの製品属性分類タスクにおいて、微調整済みCLIPと比較して同じ精度（90%）での平均再現率が11.9%向上した。
• Fashion-Genデータセットでは、CMA-CLIPは93.6%の正確性を達成し、以前のSOTA手法（KaleidoBERT）を5.5ポイント上回った。
• アブレーションスタディの結果、モダリティ単位の注意モジュールを削除すると、MRWPAにおける平均再現率は53.4%から47.5%に低下し、ノイズの多い入力をフィルタリングする役割が確認された。
• シーケンス単位の注意モジュールは性能向上に大きく寄与しており、その除去により再現率は47.5%から45.8%にさらに低下した。
• 可視化結果から、シーケンス単位の注意が、3つのデータセットすべてで分類に寄与するテキストトークンと相関する関連する画像パッチを正しく特定していることが確認された。
• Food101でもCMA-CLIPは93.1%の競争力ある正確性を達成し、MMBT や BERT といった強力なベースラインを上回った。