[論文レビュー] Self-supervised Visual Attribute Learning for Fashion Compatibility

Donghyun Kim, Kuniaki Saito+4 more|arXiv (Cornell University)|Aug 1, 2020

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 4

ひとこと要約

本論文は、色ヒストグラムの予測、形状のない局所パッチの識別、グラム行列を用いたグローバルなテクスチャパターンの学習という3つの事前学習タスクを用いて、ラベルなしで色やテクスチャに敏感な視覚的特徴を学習する自己教師あり学習フレームワークS-VALを提案する。ファッションの適合性およびリtrievalタスクにおいて、先行する自己教師あり学習手法よりも9.5–16%の向上を達成しており、ラベルなしでも一部の教師あり手法を上回る性能を示している。

ABSTRACT

Many self-supervised learning (SSL) methods have been successful in learning semantically meaningful visual representations by solving pretext tasks. However, prior work in SSL focuses on tasks like object recognition or detection, which aim to learn object shapes and assume that the features should be invariant to concepts like colors and textures. Thus, these SSL methods perform poorly on downstream tasks where these concepts provide critical information. In this paper, we present an SSL framework that enables us to learn color and texture-aware features without requiring any labels during training. Our approach consists of three self-supervised tasks designed to capture different concepts that are neglected in prior work that we can select from depending on the needs of our downstream tasks. Our tasks include learning to predict color histograms and discriminate shapeless local patches and textures from each instance. We evaluate our approach on fashion compatibility using Polyvore Outfits and In-Shop Clothing Retrieval using Deepfashion, improving upon prior SSL methods by 9.5-16%, and even outperforming some supervised approaches on Polyvore Outfits despite using no labels. We also show that our approach can be used for transfer learning, demonstrating that we can train on one dataset while achieving high performance on a different dataset.

研究の動機と目的

• 既存の自己教師あり学習（SSL）手法が形状不変性と色不変性に重点を置いているため、ファッションの適合性タスクに不適切であるという制限を解消すること。
• ファッションの適合性およびリtrievalに不可欠な視覚的属性（色やテクスチャ）を明示的に捉える新しいSSLフレームワークを開発すること。
• 自己教師あり学習が、人為的ラベルを一切使用せずに、教師あり手法と同等の性能をファッション関連タスクで達成できることを示すこと。
• 学習された特徴が異なるファッションベンチマークデータセット間で一般化できることを示し、異なるデータセット間での有効な転移学習を可能にすること。

提案手法

• 本手法は、入力画像の色ヒストグラムを予測する新たな自己教師あり事前学習タスクを導入し、主要な色表現を学習する。
• 同じ画像内から抽出した形状のない局所パッチを用いた形状のない局所パッチ識別（SLPD）を採用し、モデルがテクスチャや色に注目するよう促進する。
• 特徴マップ上で計算されたグラム行列を用いたテクスチャ識別（TD）を適用し、オブジェクトの形状に依存しないグローバルなテクスチャパターンの学習を促進する。
• 色ヒストグラム予測、SLPD、TDの3つのコンポONENTを統合した自己教師あり学習の統一的訓練目的を構築する。
• カテゴリレベルや属性レベルのラベルを一切必要とせず、対照的学習の目的関数を用いてエンドツーエンドでモデルを訓練する。
• Polyvore OutfitsおよびDeepFashionデータセット上で、線形分類およびリtrievalプロトコルの下でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトの形状が主な手がかりでない状況において、自己教師あり学習が色やテクスチャに敏感な特徴を学習できるか？
• RQ2 自己教師ありフレームワークが、ラベルなしで教師ありベースラインをファッション適合性タスクで上回れるか？
• RQ3 異なる自己教師あり事前学習タスクが、適合性やリtrievalなどの下流ファッションタスクに与える影響は何か？
• RQ4 1つのファッションデータセットで学習した特徴が、別の異なるデータセットへどの程度一般化可能か？

主な発見

• S-VALは、Polyvore Outfitsのファッション適合性ベンチマークにおいて、先行する自己教師あり学習手法よりも9.5–16%の向上を達成した。
• DeepFashion In-shop Retrievalタスクでは、Recall@1が46.5%、Recall@10が81.2%向上し、ImageNetで事前学習されたベースラインを30ポイント以上上回った。
• RGB + SLPD + TDの完全な手法は、DeepFashionでRecall@1が46.5%を達成し、無教師事前学習のみで使用する教師ありトリプレット損失ベースライン（Recall@1が63.6%）を上回った。
• Polyvore Outfitsで学習したモデルは、Capsule Wardrobesへも良好に一般化され、ゼロショット転移において、先行研究より6–8%の向上を示した。
• アブレーションスタディの結果、色不変性が望ましくない状況では、SLPDおよびTDが標準的なインスタンス識別（ID）よりも効果的であることが示された。
• 色ヒストグラム予測単体では最小限の利益しか得られず、これは形状不変性を強制せず、ファッションタスクにはあまり効果がなかったことを示している。