[論文レビュー] Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition

Roshanak Zakizadeh, Michele Sasdelli+2 more|arXiv (Cornell University)|Jul 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 7

ひとこと要約

この論文では、低リソース属性のフィルタリング、視覚的に冗長な属性（例：'striped' と 'stripe'）の統合、および9つの主要な衣類カテゴリの再アノテーションにより、DeepFashionデータセットを細分化された属性認識のためのものに改善した。公開された洗練されたアノテーションにより、ペairワイズランキング損失を用いたバイリニアCNNを用いたマルチラベル認識性能が最大12%向上した。

ABSTRACT

DeepFashion is a widely used clothing dataset with 50 categories and more than overall 200k images where each image is annotated with fine-grained attributes. This dataset is often used for clothes recognition and although it provides comprehensive annotations, the attributes distribution is unbalanced and repetitive specially for training fine-grained attribute recognition models. In this work, we tailored DeepFashion for fine-grained attribute recognition task by focusing on each category separately. After selecting categories with sufficient number of images for training, we remove very scarce attributes and merge the duplicate ones in each category, then we clean the dataset based on the new list of attributes. We use a bilinear convolutional neural network with pairwise ranking loss function for multi-label fine-grained attribute recognition and show that the new annotations improve the results for such a task. The detailed annotations for each of the selected categories are provided for public use.

研究の動機と目的

• 細分化された属性認識を妨げる、DeepFashionの元の1000属性における不均衡と冗長性に対処する。
• 信頼できる訓練を可能にするために、少なくとも6,000枚の画像を持つカテゴリに限定する。
• カテゴリごとのサンプルの2%未満の属性を削除することで、アノテーションノイズを低減する。
• 視覚的に類似した属性（例：'striped' と 'stripe'、'polkadot' と 'dot'）を統合し、一貫性のあるラベルを生成する。
• 9つの主要な衣類カテゴリについて、一貫性があり冗長でないアノテーションを備えた、クリーンで公開可能なデータセットを提供する。
• 改善されたアノテーション品質が、マルチラベル属性認識性能に測定可能な向上をもたらすことを実証する。

提案手法

• 訓練の安定性を確保するため、少なくとも6,000枚の画像を持つ9つの衣類カテゴリ（例：ドレス、Tシャツ、ブラウス）を選定した。
• カテゴリごとに2%未満の頻度の属性をフィルタリングして、クラス不均衡を軽減した。
• 意味的および視覚的に類似した属性（例：'striped' と 'stripe'、'polkadot' と 'dot'）を統合し、統一されたラベルにした。
• 各カテゴリの新しい属性リストに従い、訓練・検証・テスト分割を再構築した。
• ペアワイズランキング損失を用いた、VGG16ベースのバイリニアCNNを訓練し、マルチラベル属性認識を実行した。
• ICA射影とバイリニアプーリングを用いて、属性予測のためのコン act で判別力のある特徴を抽出した。

実験結果

リサーチクエスチョン

• RQ1 低頻度および重複属性の削除は、細分化された属性認識モデルの性能にどのように影響するか？
• RQ2 意味的に類似した属性を統合することで、モデルの一般化性能および各属性の精度はどの程度向上するか？
• RQ3 洗練されバランスの取れたDeepFashionのサブセットは、衣類カテゴリにおけるマルチラベル属性認識のための信頼できる訓練を可能にするか？
• RQ4 アノテーション品質の影響は、特にサンプル数が少ないラベルの精度にどの程度現れるか？
• RQ5 提案された再アノテーションプロセスは、平均精度および重み付き平均平均精度に測定可能な向上をもたらすか？

主な発見

• 2%未満の頻度の属性を削除し、重複を統合した後、カテゴリごとの属性数は23～35にまで削減され、データのバランスが著しく改善された。
• 順序付けに基づく平均精度（AvgPrec）は、ブラウスで0.49から0.51に、ドレスで0.59から0.61に向上し、カテゴリ全体で一貫した向上が確認された。
• 重み付き平均平均精度（wmap）は、ブラウスで0.31から0.33に、ドレスで0.40から0.42に上昇し、全体的な性能向上が示された。
• 特定の重複ペア（例：Tシャツカテゴリの'print' と 'printed'）では、統合後mAPが0.06から0.54に上昇し、統合が不足サンプリング問題を解消することが実証された。
• ドレスカテゴリの'striped' と 'stripe' ペアでは、統合後mAPが0.42から0.71に上昇し、冗長なラベルが性能を著しく劣化させることを示した。
• 洗練されたデータセットで訓練されたモデルは、特定のカテゴリでmAPが最大12%相対的に向上し、アノテーション品質が認識精度に直接影響することを確認した。