[論文レビュー] FashionViL: Fashion-Focused Vision-and-Language Representation Learning

Han Xiao, Licheng Yu+4 more|arXiv (Cornell University)|Jul 17, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

FashionViL は、ファッション分野に特化した視覚・言語表現学習フレームワークを提案し、複数のビューの対照的学習と偽属性分類を導入することで、複数の画像入力と細分化されたテキスト的属性を活用する。5つのファッション分野の下流タスクで最先端の性能を達成し、モダリティに依存しないTransformerアーキテクチャにより優れた汎化性と柔軟性を示した。

ABSTRACT

Large-scale Vision-and-Language (V+L) pre-training for representation learning has proven to be effective in boosting various downstream V+L tasks. However, when it comes to the fashion domain, existing V+L methods are inadequate as they overlook the unique characteristics of both the fashion V+L data and downstream tasks. In this work, we propose a novel fashion-focused V+L representation learning framework, dubbed as FashionViL. It contains two novel fashion-specific pre-training tasks designed particularly to exploit two intrinsic attributes with fashion V+L data. First, in contrast to other domains where a V+L data point contains only a single image-text pair, there could be multiple images in the fashion domain. We thus propose a Multi-View Contrastive Learning task for pulling closer the visual representation of one image to the compositional multimodal representation of another image+text. Second, fashion text (e.g., product description) often contains rich fine-grained concepts (attributes/noun phrases). To exploit this, a Pseudo-Attributes Classification task is introduced to encourage the learned unimodal (visual/textual) representations of the same concept to be adjacent. Further, fashion V+L tasks uniquely include ones that do not conform to the common one-stream or two-stream architectures (e.g., text-guided image retrieval). We thus propose a flexible, versatile V+L model architecture consisting of a modality-agnostic Transformer so that it can be flexibly adapted to any downstream tasks. Extensive experiments show that our FashionViL achieves a new state of the art across five downstream tasks. Code is available at https://github.com/BrandonHanx/mmf.

研究の動機と目的

• 一般的な視覚・言語事前学習モデルが、同じファッションアイテムの複数のビュー画像や細分化された属性といったファッションデータの独自の特徴を十分に活用できないという限界を解消すること。
• 一方向または二方向のアーキテクチャに不適切なタスクを含む、多様なファッション分野の下流タスクに適応可能な柔軟で多用途なモデルアーキテクチャを設計すること。
• ファッションデータの固有の性質に特化した2つの新しい事前学習タスクを導入することで、マルチモーダル表現学習を向上させること。
• 5つの多様なファッション指向の視覚・言語下流タスクにおいて、最先端の性能を達成すること。

提案手法

• 同じファッションアイテムの複数のビューを活用し、1枚の画像の視覚的表現を、別の画像・テキストペアの組み合わせ的マルチモーダル表現と一致させる、マルチビュー対照的学習タスクを提案する。
• 同じ細分化された属性の視覚的・言語的表現が埋め込み空間で近づくように促進するため、偽属性分類タスクを導入し、属性レベルの整合性を向上させる。
• 一方向または二方向のパラダイムに適合しない、テキスト誘導型画像検索を含む多様な下流タスクに柔軟に適応可能な、モダリティに依存しないTransformerアーキテクチャを採用する。
• 学習効率と表現品質の向上を図るため、VQ-VAEに基づく画像トークン化手法を用いる。
• 微調整段階では、タスク固有のハイパーパramータとデータ拡張戦略を用い、対照的損失とクロスエントロピー損失を適用する。
• 再現性を確保するため、元のコードとデータ分割が入手不能であったため、OCIRベンチマークの再実装と新しいデータ分割のリリースを実施した。

実験結果

リサーチクエスチョン

• RQ1 同じアイテムの複数の画像を活用することで、マルチビュー対照的学習はファッションV+Lにおける表現学習を改善できるか？
• RQ2 偽属性分類は、ファッションの説明における細分化された視覚的・言語的属性をモデルが捉える能力を向上させるか？
• RQ3 モダリティに依存しないTransformerアーキテクチャは、標準的な一方向または二方向のパラダイムに適合しない非標準的な検索設定を含む、多様なファッションV+L下流タスクを効果的に処理できるか？
• RQ4 一般的なV+Lモデルと比較して、ファッション固有の事前学習目的で事前学習することで、下流タスクの性能はどの程度向上するか？

主な発見

• FashionViL は、テキスト誘導型画像検索、オシャレの補完アイテム検索、カテゴリ/サブカテゴリ認識を含む5つの下流ファッションタスクで最先端の性能を達成した。
• 事前学習ありの場合、マルチ画像サブカテゴリ認識（M-SCR）で84.30%の正確度を達成したのに対し、事前学習なしでは83.02%であった。これにより、提案された事前学習タスクの有効性が示された。
• カテゴリ認識（CR）とサブカテゴリ認識（SCR）の両タスクにおいて、非事前学習ベースラインよりそれぞれ13.32%および11.14%のマクロF1スコアの向上を達成した。
• t-SNE可視化では、事前学習によりカテゴリおよびサブカテゴリレベルでマルチモーダル表現のクラスタリングが改善されていることが確認され、意味的整合性の向上が裏付けられた。
• OCIRベンチマークにおいて、再実装されたデータ分割を用いながらも、元のCSA-Net実装と比較して顕著な性能向上を示し、既存の最先端手法を上回った。
• アブレーションスタディにより、マルチビュー対照的学習および偽属性分類タスクの両方が最終的な性能向上に寄与していることが確認され、特に細分化された属性理解において顕著な向上が得られた。