[論文レビュー] T-VSE: Transformer-Based Visual Semantic Embedding

Muhammet Baştan, Arnau Ramisa+1 more|arXiv (Cornell University)|May 17, 2020

Topic Modeling参考文献 13被引用数 4

ひとこと要約

この論文では、1210万件の商品画像-タイトルペアから構成される大規模な電子商取引データセットで訓練された、トランスフォーマーに基づく視覚的意味的埋め込みモデル、T-VSEを提案する。T-VSEは、従来のRNNおよび単語平均化手法を著しく上回り、テキストから画像への検索でR@1が38.1%、R@100が96.3%を達成し、適切な戦略で十分に大きなデータセットで訓練された場合、トランスフォーマーが視覚言語タスクにおいて優れた性能を発揮できることを示している。

ABSTRACT

Transformer models have recently achieved impressive performance on NLP tasks, owing to new algorithms for self-supervised pre-training on very large text corpora. In contrast, recent literature suggests that simple average word models outperform more complicated language models, e.g., RNNs and Transformers, on cross-modal image/text search tasks on standard benchmarks, like MS COCO. In this paper, we show that dataset scale and training strategy are critical and demonstrate that transformer-based cross-modal embeddings outperform word average and RNN-based embeddings by a large margin, when trained on a large dataset of e-commerce product image-title pairs.

研究の動機と目的

• 大規模なデータセットで訓練された場合、トランスフォーマーに基づくモデルが視覚的意味的埋め込みにおけるRNNおよび単語平均化モデルを上回るかどうかを調査すること。
• データセットの規模とトレーニング戦略が、視覚言語タスクにおけるトランスフォーマーの性能に与える影響を評価すること。
• 大規模な事前学習により、トランスフォーマーが交差モード検索において優れた性能を発揮できることを示し、従来の劣悪な性能の報告とは対照的に、それを裏付けること。
• 電子商取引データを用いて、視覚言語表現学習の強力なベースラインを確立すること。

提案手法

• モデルは2ストリームのニューラルネットワークを採用：画像符号化には事前学習済みのDenseNet 169、テキスト符号化にはトランスフォーマーに基づくテキストエンコーダー（例：DistilBERT）を用い、両者とも256次元の埋め込み空間にマップする。
• 対称的な三重損失（ハードネガティブマイニングを伴うハンギングの最大値）を用いてトレーニングし、マージンを0.2に設定することで、ポジティブペア間の類似度を最大化し、ネガティブペア間の類似度を最小化する。
• 2段階トレーニングを採用：最初に、画像エンコーダーの畳み込み層を固定し、テキストエンコーダーと埋め込み層を2エポック間、ランダム初期化からトレーニングする。その後、初期の学習率を低くして、全モデルを最大50エポックにわたりファインチューニングする。
• データオーグメンテーションには、リサイズによる333×333への変更、ランダムクロップによる227×227への切り出し、トレーニング時のランダム水平反転を含み、推論時には中央クロップを適用する。
• テキストエンコーダーは事前学習済みのDistilBERTモデルから初期化されるが、大規模な商品データセット上でエンドツーエンドでファインチューニングされる。語彙サイズは30,000である。
• モデルはAmazonファッション商品の1,100万件の（画像、タイトル）ペアでトレーニングされ、R@K指標を用いて100万件のテストセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 大規模なデータセットで訓練された場合、トランスフォーマーに基づくモデルは、RNNおよび単語平均化モデルに比べて、視覚的意味的埋め込みにおいて優れた性能を発揮できるか？
• RQ2 トレーニングデータの規模が、トランスフォーマーに基づく視覚的意味的埋め込みモデルの性能に顕著な影響を与えるか？
• RQ3 大規模なテキストコーパスにおける自己教師あり事前学習を、大規模な画像-テキストデータと組み合わせることで、視覚言語タスクに効果的に活用できるか？
• RQ4 過去の研究では、BERT風のモデルが視覚言語タスクで劣悪な性能を示したが、これは適切なトレーニングとデータ規模によって克服できるか？

主な発見

• 12層のDistilBERTエンコーダーを搭載したT-VSEは、テキストから画像への検索でR@1が38.1%、R@100が96.3%を達成し、AVG-VSE（R@1が12.7%、R@100が81.7%）およびRNN-VSE（R@1が12.7%、R@100が83.3%）を著しく上回る。
• T-VSEでは、画像からテキストへの検索性能がテキストから画像への検索よりわずかに優れている（R@1が40.5% vs. 38.1%）、これはトランスフォーマーのテキストモデリング能力が強いことによる可能性がある。
• バッチサイズを400に増やして30から50エポックに延長したトレーニングにより、T-VSEの性能がR@1が38.1%、R@100が96.3%に向上した。これは、より深いモデルが長期間のトレーニングから利益を受けることを示している。
• T-VSEとベースラインモデル（AVG-VSE、RNN-VSE）との性能差は顕著であり、T-VSEはテキストから画像への検索でR@1が30%以上を達成している一方、ベースラインは13%未満にとどまっている。
• 結果は、高品質で大規模な画像-テキストデータセットでトレーニングされた場合、トランスフォーマーが交差モード検索において単純なモデルを上回ることを示しており、従来の劣悪な性能の報告とは対照的である。
• 本研究は、データセットの規模とトレーニング戦略が極めて重要であることを示している。大規模なデータと適切なファインチューニングにより、トランスフォーマーは視覚的意味的埋め込みにおいて最先端の結果を達成できる。