[論文レビュー] Kaleido-BERT: Vision-Language Pre-training on Fashion Domain

Mingchen Zhuge, Dehong Gao+6 more|arXiv (Cornell University)|Mar 30, 2021

Multimodal Machine Learning Applications参考文献 81被引用数 13

ひとこと要約

Kaleido-BERT は、アライメントガイドドマスキングとマルチスケールのパッチレベル自己教師付きタスクを用いた新しいカレイド戦略を導入したファッション分野向けの視覚言語事前学習モデルである。4つの下流タスクにおいて最先端の性能を達成しており、画像検索（R@1）で7.13%の絶対的向上、カテゴリ認識で3.28%の向上を達成した。

ABSTRACT

We present a new vision-language (VL) pre-training model dubbed Kaleido-BERT, which introduces a novel kaleido strategy for fashion cross-modality representations from transformers. In contrast to random masking strategy of recent VL models, we design alignment guided masking to jointly focus more on image-text semantic relations. To this end, we carry out five novel tasks, i.e., rotation, jigsaw, camouflage, grey-to-color, and blank-to-color for self-supervised VL pre-training at patches of different scale. Kaleido-BERT is conceptually simple and easy to extend to the existing BERT framework, it attains new state-of-the-art results by large margins on four downstream tasks, including text retrieval (R@1: 4.03% absolute improvement), image retrieval (R@1: 7.13% abs imv.), category recognition (ACC: 3.28% abs imv.), and fashion captioning (Bleu4: 1.2 abs imv.). We validate the efficiency of Kaleido-BERT on a wide range of e-commerical websites, demonstrating its broader potential in real-world applications.

研究の動機と目的

• 一般ドメインの事前学習を超えて、ファッション固有の視覚言語タスクにおけるクロスモodal表現学習を向上させること。
• 既存の視覚言語モデルにおけるランダムマスキングの限界を克服し、意味的関係学習を強化するアライメントガイドドマスキングを導入すること。
• 色、テクスチャ、スタイルといったファッションドメインの特徴に特化した自己教師付き事前学習タスクを設計すること。
• 微調整の効率性を高めるために、BERTアーキテクチャにスムーズに統合可能なシンプルで効果的なフレームワークを構築すること。
• eコマースプラットフォームにおける実世界の有効性を検証し、生産環境でのスケーラビリティとロバスト性を示すこと。

提案手法

• ファッション画像からマルチスケールで不変なパッチ表現を生成するカレイドパッチジェネレータ（KPG）を導入し、細粒度特徴学習を向上させた。
• 画像パッチとテキストトークン間のクロスモダルアテンションを学習するアテンションベースのアライメントジェネレータ（AAG）を採用し、意味的アライメントを強化した。
• 学習済み意味的アライメントに基づいて画像およびテキスト特徴を選択的にマスキングするアライメントガイドドマスキング（AGM）を提案した。これにより、共同表現学習が向上した。
• 回転、ジャイブス、カモフラージュ、グレースケールからカラーへの変換、およびブランクからカラーへの変換の5つの新規自己教師付き事前学習タスクを設計し、異なるパッチスケールに適用することで、強固な視覚的および言語的表現を学習した。
• 統一された1ストリームトランスフォーマーアーキテクチャを採用し、エンドツーエンドの学習と下流タスクへの効率的適応を可能にした。
• 適応的損失関数とパッチレベルの監督を適用し、標準的なBERTスタイルの微調整との互換性を維持しながら特徴学習を強化した。

Figure 1: Different utilization of alignment information in VL pre-training architectures. T = Task . W = Word . V = Visual Token . L = Object Detection Label . E = Embedding . Trm = Transformer Block .

実験結果

リサーチクエスチョン

• RQ1 ランダムマスキングと比較して、アライメントガイドドマスキングはファッション分野の視覚言語タスクにおけるクロスモダル表現学習を向上させることができるか？
• RQ2 マルチスケールでパッチレベルの自己教師付き事前学習タスクは、ファッション固有の視覚言語理解のための特徴学習を強化するか？
• RQ3 Kaleido-BERT は、既存の視覚言語モデルと比較して、ファッション固有の下流タスクにおいて優れた性能を示すか？
• RQ4 カレイドパッチ生成戦略は、固定スケールまたはランダムパッチングと比較して、特徴表現をどの程度向上させるか？
• RQ5 提案されたフレームワークは、実世界のeコマースシステムに効率的に導入可能であり、高い性能を維持できるか？

主な発見

• Kaleido-BERT は、Fashion-Genベンチマークにおいて、先行する最先端モデルと比較して画像検索性能（R@1）で7.13%の絶対的向上を達成した。
• テキスト検索性能も4.03%の絶対的向上（R@1）を示し、優れたクロスモダルマッチング能力を示した。
• カテゴリ認識の正確性は3.28%の絶対的向上を示し、ファッション属性の意味的理解の向上を示した。
• ファッションキャプション生成性能は1.2 BLEU-4ポイント向上し、入力画像との整合性が高く、生成品質が向上したことを示した。
• アブレーションスタディの結果、ランダムマスキングと比較してアライメントガイドドマスキングはSum R指標で+6.7%の向上を示し、その有効性を裏付けた。
• 回転、ジャイブス、カモフラージュ、グレースケールからカラーへの変換、ブランクからカラーへの変換の5つの新規事前学習タスクの統合により、すべての下流タスクで一貫した性能向上が得られた。

Figure 2: Illustration of KPG. See \secref sec:KPG for details.