[論文レビュー] FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal Retrieval

Dehong Gao, Linbo Jin+6 more|arXiv (Cornell University)|May 20, 2020

Multimodal Machine Learning Applications参考文献 37被引用数 6

ひとこと要約

FashionBERTは、パッチベースの画像特徴とBERTベースのアーキテクチャを活用して、ファション分野におけるクロスモーダルリtrievalモデルを提案する。微細なテキスト-画像アライメントを捉えるために、マルチタスク学習のためのアダプティブ損失を導入し、公開のファションデータセットで最先端の性能を達成するとともに、実世界の応用において優れた推論効率を示している。

ABSTRACT

In this paper, we address the text and image matching in cross-modal retrieval of the fashion industry. Different from the matching in the general domain, the fashion matching is required to pay much more attention to the fine-grained information in the fashion images and texts. Pioneer approaches detect the region of interests (i.e., RoIs) from images and use the RoI embeddings as image representations. In general, RoIs tend to represent the "object-level" information in the fashion images, while fashion texts are prone to describe more detailed information, e.g. styles, attributes. RoIs are thus not fine-grained enough for fashion text and image matching. To this end, we propose FashionBERT, which leverages patches as image features. With the pre-trained BERT model as the backbone network, FashionBERT learns high level representations of texts and images. Meanwhile, we propose an adaptive loss to trade off multitask learning in the FashionBERT modeling. Two tasks (i.e., text and image matching and cross-modal retrieval) are incorporated to evaluate FashionBERT. On the public dataset, experiments demonstrate FashionBERT achieves significant improvements in performances than the baseline and state-of-the-art approaches. In practice, FashionBERT is applied in a concrete cross-modal retrieval application. We provide the detailed matching performance and inference efficiency analysis.

研究の動機と目的

• 従来の領域の注目（RoI）手法が十分な分解能を欠くため、ファションリtrievalにおける微細なテキストと画像のマッチングという課題に対処すること。
• より豊かな視覚的詳細を捉えるために、RoI埋め込みをパッチベースの画像表現に置き換えることで、クロスモーダルアライメントを向上させること。
• テキスト-画像マッチングとクロスモーダルリtrievalの共同学習をバランスよく行う新しいアダプティブ損失を導入し、マルチモーダル学習を強化すること。
• 実世界のファションリtrieバル応用におけるモデルの有効性と効率を検証すること。
• ファション e コマースプラットフォームにおける産業的導入に耐えうる、強固でスケーラブルなソリューションを提供すること。

提案手法

• FashionBERTは、事前学習されたBERTバックボーンを用いて、テキストと画像の入力を共有埋め込み空間に統合的に符号化する。
• 画像特徴は、領域の注目（RoI）検出の代わりにパッチベースのアプローチによって抽出され、より微細な視覚的表現が可能になる。
• モデルは、マルチタスク学習フレームワークを用いて、テキスト-画像マッチングとクロスモーダルリtrieバルの2つのタスクを同時に最適化する。
• アダプティブ損失関数は、2つのタスク間の勾配を動的にバランスさせることで、学習の安定性と性能を向上させる。
• アテンションメカニズムを活用したエンドツーエンドの学習が可能で、クロスモーダル依存関係を捉える。
• モデルは公開のファションデータセットで微調整され、リtrieバル精度と推論速度の両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 RoIベースの手法と比較して、パッチベースの画像特徴は、ファションのテキストと画像の間の微細なアライメントを向上させるか？
• RQ2 アダプティブ損失関数は、クロスモーダルファションリtrieバルにおけるマルチタスク学習をどのように向上させるか？
• RQ3 提案されたFashionBERTモデルは、最先端のベースラインと比較して優れたリtrieバル性能を達成するか？
• RQ4 FashionBERTの推論効率は、実世界の導入シナリオでいかがなっているか？
• RQ5 モデルは実用的なファション e コマース応用に十分に一般化できるか？

主な発見

• FashionBERTは、ベースラインおよび最先端の手法と比較して、公開のファションリtrieバルベンチマークで顕著な性能向上を達成した。
• パッチベースの特徴抽出法は、RoIベースのアプローチよりも詳細な視覚的属性を捉えており、微細なマッチングを強化している。
• アダプティブ損失関数はマルチタスク学習を効果的にバランスさせ、収束が速く、一般化性能も向上させた。
• モデルは優れた推論効率を示しており、ファション e コマースにおけるリアルタイム応用に適している。
• 実験的結果から、マッチングとリtrieバルタスクの共同最適化が、全体のリtrieバル精度を向上させることを確認した。
• 標準的な評価指標において、既存のアプローチを上回る性能を示しており、クロスモーダルファションリtrieバルにおける有効性を裏付けた。