[論文レビュー] A Unified Model with Structured Output for Fashion Images Classification

Beatriz Quintino Ferreira, Luís Baía+2 more|arXiv (Cornell University)|Jun 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 12

ひとこと要約

本稿では、視覚的特徴から階層的なファッション画像のカテゴリ（例：ドレス、デイドレス）と属性（例：白、フラoral）を構造的出力アプローチを用いて一括して予測する統合的深層学習モデルを提案する。Huら（2016）の研究にインspiredされ、Farfetchのカテゴリツリーに対応するため、対称性を排除し、階層固有のレイヤーを追加し、メッセージパッシングを強化された潜在空間に移動させたメッセージパッシング機構を変更。これにより、一括でエンドツーエンドのアーキテクチャを用いて、すべてのレベルで最先端の性能を達成した。

ABSTRACT

A picture is worth a thousand words. Albeit a cliché, for the fashion industry, an image of a clothing piece allows one to perceive its category (e.g., dress), sub-category (e.g., day dress) and properties (e.g., white colour with floral patterns). The seasonal nature of the fashion industry creates a highly dynamic and creative domain with evermore data, making it unpractical to manually describe a large set of images (of products). In this paper, we explore the concept of visual recognition for fashion images through an end-to-end architecture embedding the hierarchical nature of the annotations directly into the model. Towards that goal, and inspired by the work of [7], we have modified and adapted the original architecture proposal. Namely, we have removed the message passing layer symmetry to cope with Farfetch category tree, added extra layers for hierarchy level specificity, and moved the message passing layer into an enriched latent space. We compare the proposed unified architecture against state-of-the-art models and demonstrate the performance advantage of our model for structured multi-level categorization on a dataset of about 350k fashion product images.

研究の動機と目的

• ファッションECにおける複数の専用モデルの必要性を減らすために、マルチレベルの画像分類を1つのエンドツーエンドアーキテクチャに統合すること。
• ファッション製品ラベルの階層的構造（カテゴリ、サブカテゴリ、属性）を明示的にモデル化することで、画像分類のパフォーマンスを向上させること。
• 視覚的特徴のみを用いて、大規模で不均衡かつ長さが変動する属性予測の課題に取り組むこと。
• より包括的かつ一貫性のあるアノテーションを生成することで、製品検索と記述生成を向上させること。
• 統合モデルがカテゴリツリーのすべてのレベルで専用モデルを上回ることを検証すること。

提案手法

• 本モデルは、Huら（2016）の構造的出力モデルの修正版に基づき、Farfetchの5段階カテゴリツリーに適応したものである。
• メッセージパッシングレイヤーは非対称性を排除するように再設計され、階層的依存関係をよりよく捉えるために強化された潜在空間に配置された。
• 各概念レベル（カテゴリ、サブカテゴリ、属性）のためのレベル固有の表現学習を保証するため、追加のレイヤーが追加された。
• 特徴抽出には共有されたResNetバックボーンが使用され、その後にすべてのレベルで予測を一括して出力する統合予測ヘッドが配置された。
• ラベルの関係は、親子制約を持つグラフとして扱う構造的予測フレームワークにより強制された。
• 一般化性と一貫性を向上させるために、階層的制約を組み込んだクロスエントロピー損失を用いてエンドツーエンドで訓練された。

実験結果

リサーチクエスチョン

• RQ1 統合的深層学習モデルは、専用モデルよりも優れた性能で、マルチレベルのファッション画像カテゴリと属性を同時に予測できるか？
• RQ2 階層的ラベル構造を組み込むことで、カテゴリツリーの異なるレベルにおける分類精度がどの程度向上するか？
• RQ3 手動アノテーションに存在しない属性について、モデルがどの程度欠落した属性を一般化して予測できるか？
• RQ4 統合アーキテクチャは、カテゴリ・サブカテゴリ・属性予測の間の不一致をどの程度低減できるか？
• RQ5 修正されたメッセージパッシング機構は、元のものと比較して、性能とロバスト性の面でどの程度優れているか？

主な発見

• 提案された統合モデルは、すべてのレベルで最先端の専用モデルを上回り、サブカテゴリ分類でF1@$kが69.19%、属性予測で70.78%を達成した。
• 1製品あたり平均2.07個の属性を予測しており、手動平均の0.96を大幅に上回り、欠落した属性への一般化が効果的であることが示された。
• 予測されたカテゴリ-サブカテゴリまたはカテゴリ-属性ペアのうち1%未満が不整合であったため、強い階層的整合性が確認された。
• 共有されたResNetレイヤーと適応されたメッセージパッシングを備えたモデル（Ours - final）が最高のパフォーマンスを示し、設計選択の妥当性が裏付けられた。
• 定性的な結果から、モデルは正解にない視覚的に妥当な属性（例：コートに対して「ロング」）を正しく推論しており、アノテーションの包括性が向上していることが示された。
• モデルはラベルの不均衡や可変長属性予測に対してロバストであり、精度と再現率の両面でベースラインモデルを上回った。