[論文レビュー] The iMaterialist Fashion Attribute Dataset

Sheng Guo, Weilin Huang+7 more|arXiv (Cornell University)|Jun 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 4

ひとこと要約

本論文では、8つのグループに分けられた228クラスの専門家がアノテートした属性を備えた、最初の100万スケールで多ラベルかつ細分化されたファッション画像データセット、iMaterialist Fashion Attribute (iFashion-Attribute) を紹介する。このデータセットで訓練された深層畳み込みニューラルネットワーク（CNN）は、DeepFashion などのファッションベンチマークで、ImageNet や Clothes-1M で事前学習されたモデルを上回る最先端の転移学習性能を達成した。

ABSTRACT

Large-scale image databases such as ImageNet have significantly advanced image classification and other visual recognition tasks. However much of these datasets are constructed only for single-label and coarse object-level classification. For real-world applications, multiple labels and fine-grained categories are often needed, yet very few such datasets exist publicly, especially those of large-scale and high quality. In this work, we contribute to the community a new dataset called iMaterialist Fashion Attribute (iFashion-Attribute) to address this problem in the fashion domain. The dataset is constructed from over one million fashion images with a label space that includes 8 groups of 228 fine-grained attributes in total. Each image is annotated by experts with multiple, high-quality fashion attributes. The result is the first known million-scale multi-label and fine-grained image dataset. We conduct extensive experiments and provide baseline results with modern deep Convolutional Neural Networks (CNNs). Additionally, we demonstrate models pre-trained on iFashion-Attribute achieve superior transfer learning performance on fashion related tasks compared with pre-training from ImageNet or other fashion datasets. Data is available at: https://github.com/visipedia/imat_fashion_comp

研究の動機と目的

• ファッション分野における大規模で高品質な多ラベルかつ細分化された画像データセットの不足に対処すること。
• 8つのカテゴリにわたる228個の細分化された属性でアノテートされた、100万枚を超えるファッション画像を含むベンチマークデータセットを構築すること。
• 実世界のファッションデータを用いた多ラベル画像認識および細分化視覚分類に関する研究を可能にすること。
• 下流のファッション認識タスクにおける転移学習性能において、iFashion-Attribute で事前学習したモデルの優位性を実証すること。
• 最新のCNNを用いて強力なベースライン結果を提示し、ファッション属性予測の新しいパフォーマンス基準を確立すること。

提案手法

• 8つのグループ（カテゴリ、色、性別、素材、ネックライン、パターン、スリーブ、スタイル）に分けられた228個の細分化された属性について、専門家によるアノテーションが施された、100万枚を超えるファッション画像のデータセットを収集した。
• 高精度で一貫性のあるラベルを確保するため、自動フィルタリング、専門家によるラベリング、品質管理を組み合わせた段階的なアノテーションパイプラインを採用した。
• 多ラベル属性予測のトレーニングと評価に、Inception-BN を含む最新の深層畳み込みニューラルネットワーク（CNN）を用いた。
• DeepFashion および Clothes-50K ベンチマークで、iFashion-Attribute で事前学習したモデルを微調整することで、転移学習性能を評価した。
• ノイズに強い学習技術を用いない標準的なトレーニングプロトコル（交差エントロピー損失と標準的なデータオーグメンテーション）を適用した。
• 検証セット上で精度、再現率、Top-k 精度の指標を用いて性能を報告し、ImageNet や Clothes-1M で事前学習したモデルと比較した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多ラベルかつ細分化されたファッション属性データセットは、既存のベンチマークと比較して、多ラベル画像認識のパフォーマンスを向上させることができるか？
• RQ2 ファッション固有のタスクにおける転移学習性能において、iFashion-Attribute で事前学習したモデルは、ImageNet や Clothes-1M で事前学習したモデルと比較してどのように異なるか？
• RQ3 ファッション属性の細分化と高いクラス内多様性が、標準的なCNNや既存の認識ベンチマークにどの程度の挑戦をもたらすか？
• RQ4 100万スケールのデータセットに専門家がアノテートした多ラベル属性が含まれることで、下流タスクにおける一般化性能と転送可能性が向上するか？
• RQ5 ノイズの多いデータセット（例：Clothes-1M）で訓練された複雑なノイズ耐性手法よりも、iFashion-Attribute で標準的なCNNトレーニングプロトコルを適用したモデルが、優れた性能を発揮できるか？

主な発見

• iFashion-Attribute データセットには、8つのグループに分けられた228個の細分化された属性を持つ913,857枚のトレーニング画像が含まれており、1画像あたり平均5.0個のラベルが付与されている。
• iFashion-Attribute で事前学習したモデルは、DeepFashion の検証セットでTop-1精度88.2%、Top-5精度93.3%を達成し、ImageNet で事前学習したモデル（87.3% と 92.9%）および Clothes-1M で事前学習したモデル（85.9% と 91.9%）を上回った。
• Clothes-50K ベンチマークでは、iFashion-Attribute で事前学習したモデルが80.5%の精度を達成し、ノイズの多い Clothes-1M データセットで訓練された特殊なノイズ耐性手法と同等の性能を示した。
• 高品質で専門家がアノテートしたラベルと細分化された性質のおかげで、複雑なデータクリーニング技術を用いなくても、モデルの一般化性能と転送性能が顕著に向上した。
• 結果から、iFashion-Attribute はファッション関連のビジョンタスクにおける事前学習の優れたソースであることが示され、ImageNet や Clothes-1M を上回る転移学習ベンチマーク性能を示した。
• アブレーション実験により、ラベル品質とデータ規模が極めて重要であることが確認された：ノイズの多いデータで訓練されたより複雑なモデルよりも、iFashion-Attribute で訓練されたシンプルなモデルが優れた性能を示した。これは、清浄で専門家がアノテートしたデータの価値を強調している。