[論文レビュー] Fashion and Apparel Classification using Convolutional Neural Networks

Alexander Schindler, Thomas Lidy+2 more|arXiv (Cornell University)|Nov 11, 2018

Face recognition and analysis被引用数 10

ひとこと要約

本稿では、eコマースのメタデータ強化を向上させるために、ファッションおよびアパレル画像分類のための複数の事前学習済みおよびファインチューニング済み畳み込みニューラルネットワーク（CNN）アーキテクチャ（例：InceptionV3 や VGG16）を評価している。ファインチューニングにより、事前学習済みモデルをファッションデータセットで微調整することで、分類精度が著しく向上することが示された。最良のモデルでは、製品カテゴリ分類で70.6%のトップ1精度、性別予測で88%の精度を達成し、初期から訓練したモデルと比較して16ポイント以上優れていた。

ABSTRACT

We present an empirical study of applying deep Convolutional Neural Networks (CNN) to the task of fashion and apparel image classification to improve meta-data enrichment of e-commerce applications. Five different CNN architectures were analyzed using clean and pre-trained models. The models were evaluated in three different tasks person detection, product and gender classification, on two small and large scale datasets.

研究の動機と目的

• ディープラーニングを用いてファッションおよびアパレル画像分類を自動化することで、eコマースのメタデータ強化を向上させること。
• 小規模および大規模のデータセットにおける、さまざまなCNNアーキテクチャのファッション画像分類タスクにおける性能を評価すること。
• ファッション固有のデータに対して、事前学習済みモデルをファインチューニングする方が、初期から訓練するのと比較して優れた結果をもたらすかどうかを特定すること。
• データ前処理、クラス不均衡、データ拡張がモデル精度に与える影響を分析すること。
• 階層的分類ツリーとラベルの細分化が分類性能に与える影響を調査すること。

提案手法

• 小規模な人物／製品データセット（7,833枚の画像）と大規模な製品データセット（234,884枚の画像）の2つのデータセットを用いて、5つのCNNアーキテクチャ（InceptionV3、VGG16、VGG19、カスタムCNN、カスタムVGGライクネットワーク）を評価した。
• モデルは、ImageNetの事前学習済み重みを用いたファインチューニングと、初期から訓練する方法の両方で学習させ、最終全結合層を30のファッションカテゴリ用に再訓練した。
• 一般化性能を向上させるために、ランダムクロッピング、水平反転、ランダムカラージッタリングなどのデータ拡張を適用した。
• クラス不均衡に対処するために、サブサンプリング戦略を用い、各クラスが少なくとも100枚の画像を保証するようにし、元のサイズの10%に保たれたストラティファイドクラス分布を維持した。
• 評価には5分割交差検証を用い、画像単位および製品単位の精度を報告し、平均値および累積最大スコアを含めた。
• モデルの性能を評価するために、混同行列とクラスごとの精度分析を実施し、階層的ラベルの曖昧性に起因する問題を特定した。

実験結果

リサーチクエスチョン

• RQ1 ファッションデータセット上で事前学習済みCNNをファインチューニングすることは、初期から訓練するのと比較して分類精度を向上させるか？
• RQ2 InceptionV3 や VGG16 などの異なるCNNアーキテクチャは、小規模および大規模なファッション画像分類データセットでどのように性能を発揮するか？
• RQ3 クラス不均衡の存在下で、データ拡張およびクラスサブサンプリングは、モデル性能にどの程度の影響を及ぼすか？
• RQ4 階層的ラベル構造（例：ファッション分類ツリーにおける親子関係）は、モデルの混同と精度にどのように影響を与えるか？
• RQ5 事前学習済みモデルは、eコマースプラットフォーム間でメタデータが一貫性のない状況においても、未観測のファッションカテゴリにうまく一般化できるか？

主な発見

• ファインチューニング済みモデルは、製品分類タスクにおいて、初期から訓練したモデルと比較してトップ1精度で5.9%～7.9%高い性能を示し、特にInceptionV3が最高の性能を発揮した。
• 最も優れたモデルであるファインチューニング済みInceptionV3は、234,884枚の画像を含むデータセットで70.6%のトップ1精度を達成し、製品単位の平均精度は79.1%であった。
• 性別予測では、ファインチューニング済み事前学習モデルを用いて、ピーク精度88%を達成し、このタスクにおける強い一般化性能が示された。
• 初期から訓練したモデル（カスタムアーキテクチャを含む）は、43.8%～50.6%の精度にとどまり、最も優れたファインチューニングモデルと比較して16.1%の性能差が生じた。
• 混同行列の結果、近縁のカテゴリ（例：JEANS と SKINNY_JEANS）間で高い混同が見られたことから、分類ツリーにおける階層的ラベルの曖昧性が問題を引き起こしていることが明らかになった。
• 本研究では、ストラティファイドサンプリングが適用された場合、事前学習済みモデルがクラス不均衡およびデータサブサンプリングに対して頑健であることが判明した。これにより、サブセット内でのクラス分布が保持された。